512 ГБ VRAM: почему важен KV-кэш модели

Что в ролике
Заголовок «512 ГБ» вводит в заблуждение: модель может поместиться в память по размеру файла, но при миллионе токенов контекста ей нужен ещё KV-кэш, который у разных моделей отличается в сто раз. DeepSeek V4,1 Flash хранит заметки по 890 байт на токен, поэтому миллион токенов добавляет меньше гигабайта, а GLM 5,3 требует около 88 КБ на токен, то есть почти 94 ГБ сверху. DeepSeek также выносит таблицу engram на 196 млрд параметров на SSD, и движок Dwarf Star читает её с диска, поэтому основная модель в 4-битном виде вместе с полным контекстом занимает около 295 ГБ. Вариант на четырёх DGX Spark за 27 800 долларов запускает DeepSeek с кэш-пулом на 8 млн токенов и читает миллионный промпт за три с половиной минуты. Четыре RTX Pro 6000 за 64 000 долларов быстрее: одиночный пользователь получает 249,1 токена в секунду, а миллионный промпт читается примерно за минуту. Mac на M5 Ultra с 512 ГБ ещё не продаётся, и по умолчанию macOS отдаёт GPU только три четверти памяти, поэтому GLM и μSparkOpen в 512 ГБ не помещаются с полным контекстом. Для личных экспериментов API DeepSeek обходится намного дешевле железа: год непрерывной работы одного пользователя на Sparks стоил бы около 1 659 долларов через API против 27 800 долларов за само железо.
Практика
- Что получишь
- Поймёте, почему размер файла модели не равен требуемой памяти, научитесь считать память под веса и KV-кэш и сможете выбрать конфигурацию под свою модель без переплаты.
- Первый шаг
- Начните с выбора модели и найдите в её model card значение KV cache bytes per token, затем прибавьте его к размеру весов в 4-битном виде.
- Цифры
- —890 байт на токен — столько памяти занимает KV-кэш у DeepSeek V4,1 Flash, поэтому миллион токенов добавляет меньше 1 ГБ
- —27 800 долларов — цена четырёх DGX Spark для запуска DeepSeek с кэш-пулом на 8 млн токенов
- —64 000 долларов — стоимость четырёх RTX Pro 6000, которые читают миллионный промпт примерно за минуту
- —1 659 долларов — столько стоил бы год непрерывной генерации одного пользователя у DeepSeek через API вместо покупки железа
- Честно
- Автор не продаёт конкретное железо и не даёт партнёрских ссылок, в конце просто просит поставить лайк каналу. Цена Mac Studio с 512 ГБ на момент ролика ещё не объявлена и оценена автором примерно; часть цифр производительности взята из сообщений владельцев, а не из независимых тестов.
Если слова незнакомы — 4 терминов
- KV-кэшпромежуточные заметки, которые модель хранит для каждого токена контекста, чтобы помнить предыдущие части разговора
- веса моделиосновные параметры нейросети, которые занимают память и определяют её поведение
- engramотдельная таблица в DeepSeek с частыми последовательностями слов, которую движок читает с диска по мере надобности
- промптвходной текст или задача, которую вы подаёте модели
Связки из этого ролика
6 шт.- 4x DGX Spark
- 4x RTX Pro 6000
- 2x Mac Studio M5 Ultra 256GB over Thunderbolt 5
- AMD EPYC 2x + 768GB DDR5
- 8x AMD MI50 32GB
- 2x Minisforum MSS-1 Max 128GB
Компоненты
5 шт.Формат: разбор · для продвинутых · уверенность разметки 0.93 · источник