Что реально стоит запустить DeepSeek V4.1 Flash дома

Что в ролике
Открытые веса и лицензия MIT выглядят как приглашение поставить сильную модель на своё железо и забыть про счета за API, но автор посчитал этот путь и получил другие цифры. Модель правда сильная: в агентном бенчмарке по задачам разработки у неё 74,2% против 74,0% у Opus 5 и 73,0% у модели GPT. От флагмана V4 Pro на 1,6 триллиона параметров компания отказалась, и с 14 сентября все запросы к нему уходят на младшую Flash. Скачивание с Hugging Face — 48 файлов и около 510 ГБ, в системе это примерно 475 ГБ, так что машина, подобранная по числу активных параметров, окажется меньше нужного почти на 494 ГБ. Причина в архитектуре: из 384 экспертных сетей на слое роутер выбирает шесть, поэтому активны 8 миллиардов параметров при чтении запроса и 16 при генерации, а остальные всё равно остаются в памяти, ведь выбор каждый раз новый. Сжатие тоже уже сделано за нас: эксперты поставляются в FP4, восьмибитной версии не существует, и единственный рычаг — перевод таблицы engram с 8 бит на 4, что даёт около 385 ГБ вместо 475. На чужих тестах модель выдавала один токен за 23 секунды на Mac Mini с 16 ГБ, а первое слово появилось через 108 секунд после запроса. Рабочий стенд из четырёх Nvidia DGX Spark по 4 699 долларов даёт около 70 токенов в секунду против более 300 у API, а окупаемость по расчёту автора не наступает никогда: нужно около 89 500 задач, то есть больше четырёх лет работы круглосуточно и ещё порядка 5 300 долларов за электричество.
Практика
- Что получишь
- Понять, поместится ли такая модель в вашу машину, сколько будет стоить её содержание и когда локальный запуск всё-таки выгоднее API.
- Первый шаг
- Прежде чем что-то скачивать, посчитайте размер по резидентным параметрам, а не по активным, и прикиньте, сколько часов генерации уйдёт на окупаемость железа.
- Цифры
- —510 ГБ в 48 файлах — столько весит скачивание модели с Hugging Face, в системе видно около 475 ГБ
- —23 секунды на один токен — скорость на Mac Mini с 16 ГБ, первое слово появилось через 108 секунд
- —21 цент за задачу — цена через API (миллион входных и 100 тысяч выходных токенов); кластер окупается на 89 500 таких задачах
- —18 796 долларов — четыре Nvidia DGX Spark по 4 699 долларов, ещё без налогов, сетевого оборудования и дисков
- Честно
- Это разбор без демонстрации: автор считает по чужим опубликованным отчётам, своих замеров в ролике нет. Цифры для повторения есть, но точные команды запуска (vLLM, tensor parallel 4, вынос таблицы engram на SSD) придётся искать в исходной конфигурации — в пересказе их нет. Свой продукт автор не продаёт.
Если слова незнакомы — 7 терминов
- токенкусочек текста; скорость модели считают в токенах в секунду
- APIплатный доступ к модели по запросам, без покупки железа
- открытые весафайлы модели, которые можно скачать и запустить у себя
- квантизациясжатие весов, чтобы модель занимала меньше памяти
- KV-кэшпамять на уже прочитанный текст, чтобы не пересчитывать его заново
- mixture of expertsархитектура, где на каждый токен включается лишь часть блоков модели
- бенчмаркстандартный набор задач, по которому сравнивают модели
Связки из этого ролика
4 шт.- DeepSeek V4.1 Flash + 4 × Nvidia DGX Spark (Tensor Parallel 4, engram-таблица на SSD) — локальный инференс около 70 токенов в секунду
- vLLM + Tensor Parallel 4 — разбиение 510-гигабайтной MoE-модели по четырём узлам
- GGUF 4-бит + RTX 3060 — прежний путь квантования, работавший для DeepSeek V4 Flash и закрытый для V4.1 Flash
- DeepSeek API + 100 тыс. выходных токенов — 5 минут у API против примерно 24 минут на локальном кластере
Компоненты
13 шт.Формат: разбор · для практикующих · уверенность разметки 0.8 · источник