DeepSeek v4.1 Flash на 12 ГБ: цена каждого слова

Что в ролике
Вы видели посты о запуске 500-гигабайтного DeepSeek на игровой видеокарте, но вопрос не в том, настоящая ли это модель, а в цене каждого слова. Разработчик Ryan FLVL выпустил движок Promethes, который запускает полный DeepSeek v4.1 Flash (510 ГБ) на 12 ГБ видеокарте, используя сжатие до 2 бит и коррекцию при неуверенности. Сам DeepSeek уже поставляет модель с 4-битными экспертными весами, поэтому «полная» версия — это 4 бита, а не 16, и каждый токен требует прочитать 240 экспертов, что даёт 4,5 ГБ на слово. Promethes сжимает экспертов до 2 бит (~11,5 МБ на эксперта), снижая стоимость слова до 2,8 ГБ, а с помощью черновой головы, предсказывающей 4 слова за проход, достигает 7 токенов/с. Независимые проверки показали, что точность 2-битной копии высока (97,4% совпадения по словам), но расхождение накапливается: ответы не совпадают слово в слово. Главный компромисс — скорость: на эталонной машине 2,14 токена/с, на RTX 4090 с фиксом настроек 9,75 токена/с, но на обработку промпта в 1163 токена уходит 126 секунд. Хранение стоит 1,09 ТБ против 257 ГБ у Strata, а по цене API (60 центов за миллион токенов) месячная работа Promethes на максимуме эквивалентна $11,51. Для тех, кому нельзя отправлять данные в облако, локальный запуск остаётся единственным вариантом, даже если он медленный.
Практика
- Что получишь
- Поймёте, почему запуск больших языковых моделей на игровой видеокарте упирается в пропускную способность памяти, и сможете выбрать подходящий вариант: от API до локального движка Promethes или Strata.
- Первый шаг
- Проверьте объём оперативной памяти: с 32 ГБ лучше использовать API или подписку, а при 64 ГБ и RTX 30/40 серии можно ставить Strata (2-бит) или Promethes (с резервированием 3 ГБ видеопамяти).
- Цифры
- —4,5 ГБ — столько весов читается с диска на каждый токен полной модели DeepSeek v4.1 Flash
- —2,14 токена/с — скорость полной 4-битной модели на эталонной машине с RTX 3060
- —9,75 токена/с — скорость Promethes на RTX 4090 после исправления настроек видеопамяти
- —11,51 доллара — столько стоила бы месячная работа Promethes на полную мощность, если пересчитать в токены API по off-peak цене
- Честно
- Автор не продаёт эти движки, но в конце просит подписку на канал. Основные данные — из замеров разработчиков и двух независимых установок, поэтому обобщать рано. Для повторения: Promethes работает только на Windows с RTX 30/40, требует 1,09 ТБ диска и сборки около 4 часов, а часть настроек (резервирование видеопамяти) видна только в GitHub-issue.
Если слова незнакомы — 7 терминов
- промпттекст-задание, которое ты пишешь ассистенту
- токенединица текста, которую модель читает или пишет за один шаг
- экспертычасти модели, которые активируются по несколько штук для каждого токена
- 2-битная квантизациясжатие весов модели до 2 бит на число, что уменьшает размер, но снижает точность
- FP4 / FP8форматы чисел с плавающей точкой на 4 и 8 бит, используемые для хранения весов
- черновая голова (draft head)встроенный компонент модели, который предсказывает несколько следующих слов сразу
- префиллобработка входного промпта моделью перед генерацией первого токена
Связки из этого ролика
5 шт.- DeepSeek V4.1 Flash + Promethes
- DeepSeek V4.1 Flash + Strata
- DeepSeek V4.1 Flash + Unsloth + llama.cpp
- RTX 3060 + 64GB RAM + two NVMe drives
- RTX 4090 + i9 + 64GB DDR5 + PCIe 5
Компоненты
6 шт.Формат: разбор · для практикующих · уверенность разметки 0.9 · источник