К содержимому
Дайджест

DeepSeek сжал KV-кэш в 437 раз, но считать нужно иначе

Kai·20 сентября 2026·15:20
можно прочитать понять, как устроено
Открыть на YouTube
Разбор отчёта DeepSeek о сжатии KV-кэша для инженеров и всех, кто выбирает между API и self-host, планирует железо под инференс и хочет понять реальную арифметику 437×.

Что в ролике

Если вы платите за длинный контекст и упираетесь в память GPU, главный виновник — не веса модели, а KV-кэш, который растёт с каждым токеном и пользователем. Автор восстанавливает число 437 из конфигов: DeepSeek V1 (2023, плотный трансформер, 95 слоёв, 8 KV-голов по 128 измерений) даёт 389 120 байт на токен, а V4.1 Flash — 890 байт, и деление действительно даёт 437,2. Но это сравнение модели с окном 4 096 токенов и новой разреженной MoE-модели с окном 1 млн токенов, поэтому полный кэш показывает другое: у V1 на пределе 1,59 ГБ, у новой модели на 1 048 576 токенов — 0,93 ГБ, то есть контекста в 256 раз больше, а суммарная память на 41% меньше. Новая архитектура достигает этого четырьмя сокращениями: только 4 из 40 слоёв держат собственный кэш (слои 2, 8, 14, 20), 20 prefill-слоёв отдают ключи генерационной половине, соседние токены сжимаются в одну запись, а оставшееся квантуется до 4 бит. На узле из восьми H200 SXM по 141 ГБ получается около 915 одновременных сессий с полным миллионным контекстом, тогда как старая V3 на том же железе тянет 40 сессий, и именно это объясняет дешёвые кэшированные токены. Однако на одиночной машине архитектура невыгодна: на 16 ГБ Mac mini с подгрузкой весов с SSD один токен генерировался 23 секунды, а первый — 108 секунд, и скачанный объём моделей около 475 ГБ не влезает в обычное железо. В собственных ограничениях DeepSeek указаны ошибки отбора в разреженном внимании, когда нужная запись не попала в короткий список слоя 20 и потеряна, и приблизительный bounded replay, из-за чего один и тот же промпт может давать слегка разные числа, а ещё автор поправляет новости: V4 Pro не отправили в отставку, сняли V4 Flash и V4 Flash Vision XP, но решение отменили ещё до даты перехода.

Практика

Что получишь
Поймёте, что 437× относится к сравнению с V1, а не к улучшению V4 Flash. Сможете оценить, где эта модель выгодна — на общем сервере с сотнями сессий — и где невыгодна — на одиночной машине.
Первый шаг
Открыть конфиги V1 и V4.1 Flash на Hugging Face и пересчитать 389 120 байт против 890 байт, чтобы самому увидеть, как собрано число 437.
Цифры
  • —437,2 — во столько раз меньше байт на токен у V4.1 Flash по сравнению с V1 (389 120 / 890)
  • —0,93 ГБ — полный KV-кэш V4.1 Flash на 1 048 576 токенов против 1,59 ГБ у V1 на 4 096 токенов
  • —915 — столько одновременных сессий с полным миллионным контекстом помещается на узел из 8 H200 SXM, против 40 у V3
  • —23 секунды — столько шёл один токен на 16 ГБ Mac mini с подгрузкой весов с SSD, первый токен появился через 108 секунд
Честно
Автор не продвигает свой продукт, курс или платное сообщество — это разбор открытого отчёта и конфигов. Оценка 915 одновременных сессий на узле H200 — потолок, она не учитывает activation memory, фрагментацию и состояние индексатора, поэтому реальное число будет ниже. Чтобы повторить расчёты, достаточно открытых файлов на Hugging Face, но полный запуск модели на своём железе требует сотен гигабайт диска и не даст скорости API.
Если слова незнакомы — 7 терминов

Компоненты

2 шт.

Формат: разбор · для продвинутых · уверенность разметки 0.9 · источник