552 млрд параметров на одной RTX 5090: кэши и SSD

Что в ролике
Если вы ждали, что модель на 500 ГБ можно уместить в 32 ГБ видеопамяти, этот разбор объясняет, почему это не так и за счёт чего генерация всё равно возможна. DeepSeek V4.1 Flash — смесь экспертов на 552 млрд параметров, но при обработке промпта активны около 8 млрд, а при генерации — около 16 млрд. Из этих параметров примерно 196 млрд относятся к Engram conditional memory — обучаемым справочным таблицам, из которых модель достаёт небольшие порции по мере надобности. Разработчик Jigsaw PT портировал модель в кастомную ветку Llama Cpp, разбил GGUF на 11 файлов общим объёмом около 502 ГБ и запустил на связке RTX 5090, 128 ГБ RAM и PCIe Gen 5 NVMe. Рантайм использует три уровня памяти: около 18 ГБ VRAM как кэш экспертов, часть системной памяти как второй кэш, остальное лежит на SSD и подгружается только после решения роутера. Узким местом оказалась не пропускная способность SSD, а причинность: запросы на чтение формируются после обработки каждого слоя, поэтому дополнительные потоки ввода-вывода почти не помогают. На холодном новом контенте скорость была около 5,1 токена/с при времени до первого токена 8,5 с, а после добавления прямого пути к SSD выросла до 9–10 токенов/с; повторный запуск того же промпта давал 21 токен/с за счёт прогретых кэшей, но спекулятивное декодирование DSpark почти не помогало и могло даже замедлить.
Практика
- Что получишь
- Понимание, почему 500-гигабайтная модель не обязана целиком помещаться в память, как устроена трёхуровневая подгрузка весов и где находится реальное узкое место.
- Первый шаг
- Найти ветку Llama Cpp от Jigsaw PT и изучить параметры кэшей VRAM/RAM, если хотите повторить запуск.
- Цифры
- —552 млрд — общий объём параметров backbone модели DeepSeek V4.1 Flash
- —примерно 16 млрд параметров активны при генерации одного токена
- —502 ГБ занимает модель в GGUF, разбитая на 11 файлов
- —скорость на холодном контенте выросла с 4–5 до 9–10 токенов в секунду после добавления прямого пути к SSD
- Честно
- Автор канала Code Unpacked в конце зовёт подписаться, но продукт или курс не продаёт. Готовой ссылки на ветку Llama Cpp и команды запуска в речи нет, поэтому для повторения код и точные настройки придётся искать у разработчика Jigsaw PT.
Если слова незнакомы — 5 терминов
- смесь экспертовархитектура, где для каждого токена активна лишь небольшая часть параметров
- Engram conditional memoryобучаемая память-таблица, из которой модель подгружает маленькие порции данных по мере надобности
- роутеркомпонент модели, выбирающий, какие эксперты нужны для текущего токена
- GGUFформат файла модели, используемый рантаймом Llama Cpp
- спекулятивное декодированиеметод ускорения, при котором малая модель предсказывает несколько токенов, а основная проверяет их разом
Связки из этого ролика
3 шт.- VRAM cache + system RAM cache + NVMe SSD
- MoE backbone + Engram conditional memory
- llama.cpp + GGUF
Компоненты
4 шт.Формат: разбор · для продвинутых · уверенность разметки 0.9 · источник