К содержимому
Дайджест

DeepSeek v4.1 Flash на 12 ГБ: цена каждого слова

Kai·6 ноября 2026·24:01
можно прочитать понять, как устроено
Открыть на YouTube
Разбор движка Promethes, который запускает полный DeepSeek v4.1 Flash на 12 ГБ видеокарты, для тех, кто хочет понять компромиссы локального запуска больших моделей.

Что в ролике

Вы видели посты о запуске 500-гигабайтного DeepSeek на игровой видеокарте, но вопрос не в том, настоящая ли это модель, а в цене каждого слова. Разработчик Ryan FLVL выпустил движок Promethes, который запускает полный DeepSeek v4.1 Flash (510 ГБ) на 12 ГБ видеокарте, используя сжатие до 2 бит и коррекцию при неуверенности. Сам DeepSeek уже поставляет модель с 4-битными экспертными весами, поэтому «полная» версия — это 4 бита, а не 16, и каждый токен требует прочитать 240 экспертов, что даёт 4,5 ГБ на слово. Promethes сжимает экспертов до 2 бит (~11,5 МБ на эксперта), снижая стоимость слова до 2,8 ГБ, а с помощью черновой головы, предсказывающей 4 слова за проход, достигает 7 токенов/с. Независимые проверки показали, что точность 2-битной копии высока (97,4% совпадения по словам), но расхождение накапливается: ответы не совпадают слово в слово. Главный компромисс — скорость: на эталонной машине 2,14 токена/с, на RTX 4090 с фиксом настроек 9,75 токена/с, но на обработку промпта в 1163 токена уходит 126 секунд. Хранение стоит 1,09 ТБ против 257 ГБ у Strata, а по цене API (60 центов за миллион токенов) месячная работа Promethes на максимуме эквивалентна $11,51. Для тех, кому нельзя отправлять данные в облако, локальный запуск остаётся единственным вариантом, даже если он медленный.

Практика

Что получишь
Поймёте, почему запуск больших языковых моделей на игровой видеокарте упирается в пропускную способность памяти, и сможете выбрать подходящий вариант: от API до локального движка Promethes или Strata.
Первый шаг
Проверьте объём оперативной памяти: с 32 ГБ лучше использовать API или подписку, а при 64 ГБ и RTX 30/40 серии можно ставить Strata (2-бит) или Promethes (с резервированием 3 ГБ видеопамяти).
Цифры
  • —4,5 ГБ — столько весов читается с диска на каждый токен полной модели DeepSeek v4.1 Flash
  • —2,14 токена/с — скорость полной 4-битной модели на эталонной машине с RTX 3060
  • —9,75 токена/с — скорость Promethes на RTX 4090 после исправления настроек видеопамяти
  • —11,51 доллара — столько стоила бы месячная работа Promethes на полную мощность, если пересчитать в токены API по off-peak цене
Честно
Автор не продаёт эти движки, но в конце просит подписку на канал. Основные данные — из замеров разработчиков и двух независимых установок, поэтому обобщать рано. Для повторения: Promethes работает только на Windows с RTX 30/40, требует 1,09 ТБ диска и сборки около 4 часов, а часть настроек (резервирование видеопамяти) видна только в GitHub-issue.
Если слова незнакомы — 7 терминов

Связки из этого ролика

5 шт.

Компоненты

6 шт.

Формат: разбор · для практикующих · уверенность разметки 0.9 · источник