К содержимому
Дайджест

Миллион токенов в 500 МБ: математика DeepSeek и TurboQuant

The Stack·24 сентября 2026·10:44
текст даёт основное понять, как устроено пошагово
Открыть на YouTube
Технический разбор, откуда берётся цифра «миллион токенов в 500 мегабайтах» у DeepSeek Flash и TurboQuant, и что из этого реально работает в локальных движках.

Что в ролике

Если вас мучает, сколько видеопамяти съедает длинный диалог с моделью, у DeepSeek Flash есть ответ — 890 байт на токен, что даёт 890 мегабайт на миллион токенов. DeepSeek добился этого двумя сокращениями: хранит один сжатый суммарный кэш на токен вместо полных ключей и значений, а сами числа держит в 4-битном виде с общим масштабом на группу из 16. В предыдущей версии кэш был 8-битным, поэтому переход на 4 бита почти вдвое уменьшил хранилище, и модель уже обучена работать с таким кэшем с минимальной потерей качества. Добавленный поверх Google TurboQuant сжимает кэш после обучения случайным поворотом векторов и округлением, без потери качества на 3,5 бита и с небольшим ухудшением на 2,5. Для миллиона токенов это даёт около 690 мегабайт при 3,5 бита и чуть меньше 500 мегабайт при 2,5, хотя реально запустить связку DeepSeek Flash и TurboQuant пока нельзя. Существующие движки не поддерживают это сочетание: в vLLM пул-реквесты на TurboQuant и совместимость со скользящим окном DeepSeek ещё открыты, а в llama cpp поддержка самой модели не завершена. Практическая польза для локальных моделей есть: обычный 8-битный кэш уже включён в llama cpp и vLLM, на 32 тысячах токенов он экономит около 2 гигабайт, а за это приходится платить замедлением записи на длинных контекстах.

Практика

Что получишь
Поймёте, из чего складывается цифра 500 мегабайт на миллион токенов, и как включить сжатие кэша в llama.cpp или vLLM, чтобы освободить видеопамять без заметной потери качества.
Первый шаг
Если у вас локальная модель в llama.cpp, включите одинаковый 8-битный кэш для ключей и значений и замерьте скорость на длинном диалоге.
Цифры
  • —890 байт на токен — столько памяти, по данным DeepSeek, занимает кэш в модели Flash
  • —500 мегабайт — расчётный размер кэша на миллион токенов при наложении TurboQuant с настройкой 2,5 бита
  • —3,5 бита — уровень сжатия TurboQuant, при котором Google не зафиксировал потери качества на тестовых моделях
  • —55% от обычной скорости — насколько замедляется запись ответа в llama.cpp с 8-битным кэшем на 64 тысячах токенов
Честно
Главная оговорка: 500 мегабайт — это расчётная цифра, а не готовый запускаемый вариант, поскольку связку DeepSeek Flash и TurboQuant пока нигде нельзя запустить, а замеры TurboQuant сделаны на других моделях. Автор в конце просит подписаться на канал, другой рекламы или партнёрских ссылок в ролике нет.
Если слова незнакомы — 5 терминов

Связки из этого ролика

3 шт.

Компоненты

5 шт.

Формат: разбор · для продвинутых · уверенность разметки 0.9 · источник