К содержимому
Дайджест

Полный DeepSeek v4.1 Flash на GPU с 12 ГБ: три способа

RepoChad·2 ноября 2026·14:52
нужен экран выбрать инструмент пошагово
Открыть на YouTube
Разбор трёх способов запустить DeepSeek v4,1 Flash на видеокарте с 12 ГБ: сжатая двухбитная копия через Strata, полные веса с коррекцией через Prometheus и ещё сырой llamacpp.

Что в ролике

Если у вас видеокарта на 12 ГБ, запустить DeepSeek v4,1 Flash можно тремя способами, но настоящую модель и быстрый отклик одновременно не даёт ни один. Оригинал весит 510 ГБ и содержит 763 млрд параметров: это смесь экспертов, где в 40 слоях по 384 эксперта на каждое слово просыпаются только 6, плюс 196 млрд параметров N-gram-таблиц. Самый массовый маршрут — Strata с двухбитной копией, ему нужны 64 ГБ RAM, 257 ГБ свободного места на быстром SSD и одна команда установки. Официальные скорости обещают 8–10 токенов/с на RTX 3060 с 46 ГБ RAM, но у сторонних тестеров на 32 ГБ вышло 1,84 и 2,8 токена/с, а с 64 ГБ — до 9,2, то есть решает память, а не видеокарта. Качество копии под вопросом: перплексия двухбитного файла уехала на 15,5%, у 1,75-битного на прозе — на 53%, а в слепом тесте игра от локальной копии получила 2 из 12 против 10 из 12 у облака. Второй маршрут, Prometheus, работает с оригинальными весами через коррекцию: только на Windows с RTX 30/40, требует 1,1 ТБ свободного места, 4 часа сборки и на RTX 3060 с 64 ГБ выдаёт 7,4 токена/с, но все замеры сняты на одной машине и никем не повторены. Третий маршрут через llamacpp на 12 ГБ пока не готов: руководство Unsloth хочет около 128 ГБ суммарной памяти, а опубликованных результатов на 12 ГБ нет.

Практика

Что получишь
Поймёте, какой маршрут подходит под ваши RAM, SSD и GPU, и не потратите вечер на загрузку модели, которая у вас не заведётся.
Первый шаг
Начните с проверки свободного места на NVMe-диске и объёма RAM, а при 64 ГБ ставьте Strata одной командой с двухбитным файлом.
Цифры
  • —7,4 токена/с — лучшая скорость Prometheus на RTX 3060 с 64 ГБ RAM в тёплом режиме
  • —1,84 токена/с — скорость записи у стороннего тестера на RTX 5070 с 32 ГБ RAM
  • —10 из 12 против 2 из 12 — оценки облачного DeepSeek и локальной двухбитной копии за одинаковую игру в слепом тесте
  • —1,1 ТБ — свободное место на SSD, которое требует Prometheus для полных весов, копии и корректирующих слоёв
Честно
Автор продвигает платное членство в канале: участники получают приоритетные ответы в комментариях, кнопка вступления — под видео, сами движки бесплатны. Официальные скорости Strata замерены разработчиками на своих машинах, а у сторонних тестеров с 32 ГБ RAM скорость падает до 1,84 токена/с. Все замеры Prometheus сняты на одной машине, второй чистой установки нет, а на 12 ГБ Strata по умолчанию отключает одного из шести экспертов, так что это не «тот самый» DeepSeek.
Если слова незнакомы — 5 терминов

Понадобится экран

Часть информации есть только на экране (код в терминале). Открыть на YouTube с 3:25.

Связки из этого ролика

4 шт.

Компоненты

5 шт.

Цитаты-доказательства

дословно из субтитров

Формат: обзор · для практикующих · уверенность разметки 0.82 · источник