DeepSeek сжал KV-кэш в 437 раз, но считать нужно иначе

Что в ролике
Если вы платите за длинный контекст и упираетесь в память GPU, главный виновник — не веса модели, а KV-кэш, который растёт с каждым токеном и пользователем. Автор восстанавливает число 437 из конфигов: DeepSeek V1 (2023, плотный трансформер, 95 слоёв, 8 KV-голов по 128 измерений) даёт 389 120 байт на токен, а V4.1 Flash — 890 байт, и деление действительно даёт 437,2. Но это сравнение модели с окном 4 096 токенов и новой разреженной MoE-модели с окном 1 млн токенов, поэтому полный кэш показывает другое: у V1 на пределе 1,59 ГБ, у новой модели на 1 048 576 токенов — 0,93 ГБ, то есть контекста в 256 раз больше, а суммарная память на 41% меньше. Новая архитектура достигает этого четырьмя сокращениями: только 4 из 40 слоёв держат собственный кэш (слои 2, 8, 14, 20), 20 prefill-слоёв отдают ключи генерационной половине, соседние токены сжимаются в одну запись, а оставшееся квантуется до 4 бит. На узле из восьми H200 SXM по 141 ГБ получается около 915 одновременных сессий с полным миллионным контекстом, тогда как старая V3 на том же железе тянет 40 сессий, и именно это объясняет дешёвые кэшированные токены. Однако на одиночной машине архитектура невыгодна: на 16 ГБ Mac mini с подгрузкой весов с SSD один токен генерировался 23 секунды, а первый — 108 секунд, и скачанный объём моделей около 475 ГБ не влезает в обычное железо. В собственных ограничениях DeepSeek указаны ошибки отбора в разреженном внимании, когда нужная запись не попала в короткий список слоя 20 и потеряна, и приблизительный bounded replay, из-за чего один и тот же промпт может давать слегка разные числа, а ещё автор поправляет новости: V4 Pro не отправили в отставку, сняли V4 Flash и V4 Flash Vision XP, но решение отменили ещё до даты перехода.
Практика
- Что получишь
- Поймёте, что 437× относится к сравнению с V1, а не к улучшению V4 Flash. Сможете оценить, где эта модель выгодна — на общем сервере с сотнями сессий — и где невыгодна — на одиночной машине.
- Первый шаг
- Открыть конфиги V1 и V4.1 Flash на Hugging Face и пересчитать 389 120 байт против 890 байт, чтобы самому увидеть, как собрано число 437.
- Цифры
- —437,2 — во столько раз меньше байт на токен у V4.1 Flash по сравнению с V1 (389 120 / 890)
- —0,93 ГБ — полный KV-кэш V4.1 Flash на 1 048 576 токенов против 1,59 ГБ у V1 на 4 096 токенов
- —915 — столько одновременных сессий с полным миллионным контекстом помещается на узел из 8 H200 SXM, против 40 у V3
- —23 секунды — столько шёл один токен на 16 ГБ Mac mini с подгрузкой весов с SSD, первый токен появился через 108 секунд
- Честно
- Автор не продвигает свой продукт, курс или платное сообщество — это разбор открытого отчёта и конфигов. Оценка 915 одновременных сессий на узле H200 — потолок, она не учитывает activation memory, фрагментацию и состояние индексатора, поэтому реальное число будет ниже. Чтобы повторить расчёты, достаточно открытых файлов на Hugging Face, но полный запуск модели на своём железе требует сотен гигабайт диска и не даст скорости API.
Если слова незнакомы — 7 терминов
- KV-кэшпамять с ключами и значениями предыдущих токенов, чтобы модель не пересчитывала контекст заново
- токенминимальная единица текста, которую модель читает или генерирует
- плотный трансформермодель, где каждый слой использует все параметры, в отличие от разреженной MoE
- MoEсмесь экспертов: архитектура, где для каждого токена работает только часть подсетей
- prefillпервый проход модели по входящему промпту до генерации ответа
- разреженное вниманиемеханизм, при котором слой смотрит только на отобранную часть контекста, а не на весь
- bounded replayповторное вычисление локального окна по требованию вместо хранения, результат может быть приблизительным
Компоненты
2 шт.Формат: разбор · для продвинутых · уверенность разметки 0.9 · источник