К содержимому
Дайджест

552 млрд параметров на одной RTX 5090: кэши и SSD

Code Unpacked·1 октября 2026·10:56
можно прочитать понять, как устроено
Открыть на YouTube
Разбор эксперимента с запуском DeepSeek V4.1 Flash на одной RTX 5090 для тех, кто хочет понять, как большие MoE-модели работают без полной загрузки в память.

Что в ролике

Если вы ждали, что модель на 500 ГБ можно уместить в 32 ГБ видеопамяти, этот разбор объясняет, почему это не так и за счёт чего генерация всё равно возможна. DeepSeek V4.1 Flash — смесь экспертов на 552 млрд параметров, но при обработке промпта активны около 8 млрд, а при генерации — около 16 млрд. Из этих параметров примерно 196 млрд относятся к Engram conditional memory — обучаемым справочным таблицам, из которых модель достаёт небольшие порции по мере надобности. Разработчик Jigsaw PT портировал модель в кастомную ветку Llama Cpp, разбил GGUF на 11 файлов общим объёмом около 502 ГБ и запустил на связке RTX 5090, 128 ГБ RAM и PCIe Gen 5 NVMe. Рантайм использует три уровня памяти: около 18 ГБ VRAM как кэш экспертов, часть системной памяти как второй кэш, остальное лежит на SSD и подгружается только после решения роутера. Узким местом оказалась не пропускная способность SSD, а причинность: запросы на чтение формируются после обработки каждого слоя, поэтому дополнительные потоки ввода-вывода почти не помогают. На холодном новом контенте скорость была около 5,1 токена/с при времени до первого токена 8,5 с, а после добавления прямого пути к SSD выросла до 9–10 токенов/с; повторный запуск того же промпта давал 21 токен/с за счёт прогретых кэшей, но спекулятивное декодирование DSpark почти не помогало и могло даже замедлить.

Практика

Что получишь
Понимание, почему 500-гигабайтная модель не обязана целиком помещаться в память, как устроена трёхуровневая подгрузка весов и где находится реальное узкое место.
Первый шаг
Найти ветку Llama Cpp от Jigsaw PT и изучить параметры кэшей VRAM/RAM, если хотите повторить запуск.
Цифры
  • —552 млрд — общий объём параметров backbone модели DeepSeek V4.1 Flash
  • —примерно 16 млрд параметров активны при генерации одного токена
  • —502 ГБ занимает модель в GGUF, разбитая на 11 файлов
  • —скорость на холодном контенте выросла с 4–5 до 9–10 токенов в секунду после добавления прямого пути к SSD
Честно
Автор канала Code Unpacked в конце зовёт подписаться, но продукт или курс не продаёт. Готовой ссылки на ветку Llama Cpp и команды запуска в речи нет, поэтому для повторения код и точные настройки придётся искать у разработчика Jigsaw PT.
Если слова незнакомы — 5 терминов

Связки из этого ролика

3 шт.

Компоненты

4 шт.

Формат: разбор · для продвинутых · уверенность разметки 0.9 · источник