К содержимому
Дайджест

DeepSeek V4 Flash на 24 ГБ: узкое место — память

The Stack·18 сентября 2026·19:13
можно прочитать выбрать инструмент
Открыть на YouTube
Разбор того, можно ли запустить DeepSeek V4 Flash на одной 24-гигабайтной карте с открытым движком Free Token, и какие ограничения всплывают в реальных тестах и статье.

Что в ролике

Если у вас есть 24-гигабайтная карта вроде RTX 3090, открытый движок Free Token от flashml-org обещает запустить DeepSeek V4 Flash, выгружая большую часть модели в системную память. Полный чекпойнт занимает 166,88 ГБ на диске, но постоянно активная база — только 8,28 ГБ, потому что для одного токена срабатывают лишь 6 из 256 экспертов, то есть 13 млрд из 284 млрд параметров. Тест Digital Spaceport на одном RTX 3090 дал 10,5 токена в секунду при потреблении 20,38 ГБ VRAM, но для запуска ему понадобилось 192 ГБ системной памяти, а 128 ГБ уже не хватает. Длинный промпт будит почти всех экспертов: prefill переносит около 140 ГБ весов через PCIe, что на слоте четвёртого поколения добавляет около пяти секунд к каждому длинному запросу. В статье движок на RTX 5090 достигает 25 токенов в секунду, а на ноутбуке — 39,3 токена в секунду, однако на 3090 преимущество перед аналогами составляет всего 1,3 раза. Отдельный баг калибровки проявился на паре RTX 3090: автоматически выбранный hybrid-режим дал 0,67 токена в секунду, а принудительный offload на той же машине — 5,58 токена в секунду, то есть в 8,3 раза быстрее. Вывод такой: модель на 24 ГБ запускается, но узким местом оказывается не видеокарта, а системная память, пропускная способность PCIe и неверный автоматический выбор бэкенда.

Практика

Что получишь
Поймёте, что сама видеокарта действительно справляется, но главные ограничения — объём системной памяти, скорость PCIe и тихий баг автонастройки. Сможете осознанно выбирать offload-режим вместо медленного hybrid и не списывать низкую скорость на железо.
Первый шаг
Найти официальный репозиторий Free Token от flashml-org и перед первым запуском вручную сравнить режимы offload и hybrid, не доверяя автоматической калибровке.
Цифры
  • —166,88 ГБ — столько места на диске занимает полный чекпойнт DeepSeek V4 Flash, из них только 8,28 ГБ постоянно активны на карте
  • —10,5 токена в секунду — скорость генерации на одном RTX 3090 в тесте Digital Spaceport при 20,38 ГБ VRAM
  • —140 ГБ весов экспертов — столько приходится прогонять через PCIe при длинном промпте, что на слоте четвёртого поколения даёт около пяти секунд
  • —8,3 раза — во столько hybrid-режим оказался медленнее принудительного offload на паре RTX 3090 (0,67 против 5,58 токена в секунду)
Честно
Явной рекламы нет: Free Token — открытый проект, а автор строит разбор на чужом тесте Digital Spaceport и на исследовательской статье. В ролике нет готовых команд запуска, флаги и настройки не показаны, поэтому их придётся искать в документации и баг-трекере самостоятельно. Тестовый стенд Digital Spaceport — серверная машина с 192 ГБ RAM, а не обычный домашний ПК, так что для повторения на своём компьютере нужно заранее проверить объём памяти и поколение PCIe.
Если слова незнакомы — 6 терминов

Связки из этого ролика

4 шт.

Компоненты

7 шт.

Формат: обзор · для практикующих · уверенность разметки 0.85 · источник