Миллион токенов в 500 МБ: математика DeepSeek и TurboQuant

Что в ролике
Если вас мучает, сколько видеопамяти съедает длинный диалог с моделью, у DeepSeek Flash есть ответ — 890 байт на токен, что даёт 890 мегабайт на миллион токенов. DeepSeek добился этого двумя сокращениями: хранит один сжатый суммарный кэш на токен вместо полных ключей и значений, а сами числа держит в 4-битном виде с общим масштабом на группу из 16. В предыдущей версии кэш был 8-битным, поэтому переход на 4 бита почти вдвое уменьшил хранилище, и модель уже обучена работать с таким кэшем с минимальной потерей качества. Добавленный поверх Google TurboQuant сжимает кэш после обучения случайным поворотом векторов и округлением, без потери качества на 3,5 бита и с небольшим ухудшением на 2,5. Для миллиона токенов это даёт около 690 мегабайт при 3,5 бита и чуть меньше 500 мегабайт при 2,5, хотя реально запустить связку DeepSeek Flash и TurboQuant пока нельзя. Существующие движки не поддерживают это сочетание: в vLLM пул-реквесты на TurboQuant и совместимость со скользящим окном DeepSeek ещё открыты, а в llama cpp поддержка самой модели не завершена. Практическая польза для локальных моделей есть: обычный 8-битный кэш уже включён в llama cpp и vLLM, на 32 тысячах токенов он экономит около 2 гигабайт, а за это приходится платить замедлением записи на длинных контекстах.
Практика
- Что получишь
- Поймёте, из чего складывается цифра 500 мегабайт на миллион токенов, и как включить сжатие кэша в llama.cpp или vLLM, чтобы освободить видеопамять без заметной потери качества.
- Первый шаг
- Если у вас локальная модель в llama.cpp, включите одинаковый 8-битный кэш для ключей и значений и замерьте скорость на длинном диалоге.
- Цифры
- —890 байт на токен — столько памяти, по данным DeepSeek, занимает кэш в модели Flash
- —500 мегабайт — расчётный размер кэша на миллион токенов при наложении TurboQuant с настройкой 2,5 бита
- —3,5 бита — уровень сжатия TurboQuant, при котором Google не зафиксировал потери качества на тестовых моделях
- —55% от обычной скорости — насколько замедляется запись ответа в llama.cpp с 8-битным кэшем на 64 тысячах токенов
- Честно
- Главная оговорка: 500 мегабайт — это расчётная цифра, а не готовый запускаемый вариант, поскольку связку DeepSeek Flash и TurboQuant пока нигде нельзя запустить, а замеры TurboQuant сделаны на других моделях. Автор в конце просит подписаться на канал, другой рекламы или партнёрских ссылок в ролике нет.
Если слова незнакомы — 5 терминов
- токенединица текста, которую модель читает за один шаг
- кэшрабочие заметки модели о прочитанном, которые хранятся в видеопамяти и растут с каждым новым токеном
- ключи и значениядва списка чисел, по которым механизм внимания находит связи между словами
- TurboQuantметод сжатия кэша после обучения: значения случайно поворачивают и округляют до меньшего числа бит
- скользящее окнорежим внимания, при котором модель удерживает в памяти только последний фрагмент длинного текста
Связки из этого ролика
3 шт.- DeepSeek v4.1 flash + compressed KV cache
- llama.cpp + quantized KV cache
- vLLM + TurboQuant
Компоненты
5 шт.Формат: разбор · для продвинутых · уверенность разметки 0.9 · источник