DeepSeek V4 Flash на 24 ГБ: узкое место — память

Что в ролике
Если у вас есть 24-гигабайтная карта вроде RTX 3090, открытый движок Free Token от flashml-org обещает запустить DeepSeek V4 Flash, выгружая большую часть модели в системную память. Полный чекпойнт занимает 166,88 ГБ на диске, но постоянно активная база — только 8,28 ГБ, потому что для одного токена срабатывают лишь 6 из 256 экспертов, то есть 13 млрд из 284 млрд параметров. Тест Digital Spaceport на одном RTX 3090 дал 10,5 токена в секунду при потреблении 20,38 ГБ VRAM, но для запуска ему понадобилось 192 ГБ системной памяти, а 128 ГБ уже не хватает. Длинный промпт будит почти всех экспертов: prefill переносит около 140 ГБ весов через PCIe, что на слоте четвёртого поколения добавляет около пяти секунд к каждому длинному запросу. В статье движок на RTX 5090 достигает 25 токенов в секунду, а на ноутбуке — 39,3 токена в секунду, однако на 3090 преимущество перед аналогами составляет всего 1,3 раза. Отдельный баг калибровки проявился на паре RTX 3090: автоматически выбранный hybrid-режим дал 0,67 токена в секунду, а принудительный offload на той же машине — 5,58 токена в секунду, то есть в 8,3 раза быстрее. Вывод такой: модель на 24 ГБ запускается, но узким местом оказывается не видеокарта, а системная память, пропускная способность PCIe и неверный автоматический выбор бэкенда.
Практика
- Что получишь
- Поймёте, что сама видеокарта действительно справляется, но главные ограничения — объём системной памяти, скорость PCIe и тихий баг автонастройки. Сможете осознанно выбирать offload-режим вместо медленного hybrid и не списывать низкую скорость на железо.
- Первый шаг
- Найти официальный репозиторий Free Token от flashml-org и перед первым запуском вручную сравнить режимы offload и hybrid, не доверяя автоматической калибровке.
- Цифры
- —166,88 ГБ — столько места на диске занимает полный чекпойнт DeepSeek V4 Flash, из них только 8,28 ГБ постоянно активны на карте
- —10,5 токена в секунду — скорость генерации на одном RTX 3090 в тесте Digital Spaceport при 20,38 ГБ VRAM
- —140 ГБ весов экспертов — столько приходится прогонять через PCIe при длинном промпте, что на слоте четвёртого поколения даёт около пяти секунд
- —8,3 раза — во столько hybrid-режим оказался медленнее принудительного offload на паре RTX 3090 (0,67 против 5,58 токена в секунду)
- Честно
- Явной рекламы нет: Free Token — открытый проект, а автор строит разбор на чужом тесте Digital Spaceport и на исследовательской статье. В ролике нет готовых команд запуска, флаги и настройки не показаны, поэтому их придётся искать в документации и баг-трекере самостоятельно. Тестовый стенд Digital Spaceport — серверная машина с 192 ГБ RAM, а не обычный домашний ПК, так что для повторения на своём компьютере нужно заранее проверить объём памяти и поколение PCIe.
Если слова незнакомы — 6 терминов
- токенминимальная единица текста, которую модель обрабатывает за один шаг
- prefillпервичная обработка всего входящего промпта перед началом генерации
- PCIeшина, по которой данные идут между видеокартой, процессором и системной памятью
- VRAMвидеопамять, которая находится на самой карте
- offloadрежим, при котором веса экспертов держатся в системной памяти и подгружаются по мере необходимости
- hybridрежим, при котором часть вычислений идёт на процессоре, а часть на видеокарте
Связки из этого ролика
4 шт.- DeepSeek V4 Flash + Free Token + RTX 3090
- DeepSeek V4 Flash + Free Token + RTX 5090
- Free Token + AMD Threadripper WRX80 + 256GB DDR4
- Free Token + Xeon Gold + 503GB system memory
Компоненты
7 шт.Формат: обзор · для практикующих · уверенность разметки 0.85 · источник