К содержимому
Дайджест

512 ГБ VRAM: почему важен KV-кэш модели

Kai·17 октября 2026·22:28
можно прочитать понять, как устроено
Открыть на YouTube
Разбор всех реальных способов получить 512 ГБ памяти для локального запуска больших моделей, с расчётом полного контекста и без маркетинговых цифр.

Что в ролике

Заголовок «512 ГБ» вводит в заблуждение: модель может поместиться в память по размеру файла, но при миллионе токенов контекста ей нужен ещё KV-кэш, который у разных моделей отличается в сто раз. DeepSeek V4,1 Flash хранит заметки по 890 байт на токен, поэтому миллион токенов добавляет меньше гигабайта, а GLM 5,3 требует около 88 КБ на токен, то есть почти 94 ГБ сверху. DeepSeek также выносит таблицу engram на 196 млрд параметров на SSD, и движок Dwarf Star читает её с диска, поэтому основная модель в 4-битном виде вместе с полным контекстом занимает около 295 ГБ. Вариант на четырёх DGX Spark за 27 800 долларов запускает DeepSeek с кэш-пулом на 8 млн токенов и читает миллионный промпт за три с половиной минуты. Четыре RTX Pro 6000 за 64 000 долларов быстрее: одиночный пользователь получает 249,1 токена в секунду, а миллионный промпт читается примерно за минуту. Mac на M5 Ultra с 512 ГБ ещё не продаётся, и по умолчанию macOS отдаёт GPU только три четверти памяти, поэтому GLM и μSparkOpen в 512 ГБ не помещаются с полным контекстом. Для личных экспериментов API DeepSeek обходится намного дешевле железа: год непрерывной работы одного пользователя на Sparks стоил бы около 1 659 долларов через API против 27 800 долларов за само железо.

Практика

Что получишь
Поймёте, почему размер файла модели не равен требуемой памяти, научитесь считать память под веса и KV-кэш и сможете выбрать конфигурацию под свою модель без переплаты.
Первый шаг
Начните с выбора модели и найдите в её model card значение KV cache bytes per token, затем прибавьте его к размеру весов в 4-битном виде.
Цифры
  • —890 байт на токен — столько памяти занимает KV-кэш у DeepSeek V4,1 Flash, поэтому миллион токенов добавляет меньше 1 ГБ
  • —27 800 долларов — цена четырёх DGX Spark для запуска DeepSeek с кэш-пулом на 8 млн токенов
  • —64 000 долларов — стоимость четырёх RTX Pro 6000, которые читают миллионный промпт примерно за минуту
  • —1 659 долларов — столько стоил бы год непрерывной генерации одного пользователя у DeepSeek через API вместо покупки железа
Честно
Автор не продаёт конкретное железо и не даёт партнёрских ссылок, в конце просто просит поставить лайк каналу. Цена Mac Studio с 512 ГБ на момент ролика ещё не объявлена и оценена автором примерно; часть цифр производительности взята из сообщений владельцев, а не из независимых тестов.
Если слова незнакомы — 4 терминов

Связки из этого ролика

6 шт.

Компоненты

5 шт.

Формат: разбор · для продвинутых · уверенность разметки 0.93 · источник