Полный DeepSeek v4.1 Flash на GPU с 12 ГБ: три способа

Что в ролике
Если у вас видеокарта на 12 ГБ, запустить DeepSeek v4,1 Flash можно тремя способами, но настоящую модель и быстрый отклик одновременно не даёт ни один. Оригинал весит 510 ГБ и содержит 763 млрд параметров: это смесь экспертов, где в 40 слоях по 384 эксперта на каждое слово просыпаются только 6, плюс 196 млрд параметров N-gram-таблиц. Самый массовый маршрут — Strata с двухбитной копией, ему нужны 64 ГБ RAM, 257 ГБ свободного места на быстром SSD и одна команда установки. Официальные скорости обещают 8–10 токенов/с на RTX 3060 с 46 ГБ RAM, но у сторонних тестеров на 32 ГБ вышло 1,84 и 2,8 токена/с, а с 64 ГБ — до 9,2, то есть решает память, а не видеокарта. Качество копии под вопросом: перплексия двухбитного файла уехала на 15,5%, у 1,75-битного на прозе — на 53%, а в слепом тесте игра от локальной копии получила 2 из 12 против 10 из 12 у облака. Второй маршрут, Prometheus, работает с оригинальными весами через коррекцию: только на Windows с RTX 30/40, требует 1,1 ТБ свободного места, 4 часа сборки и на RTX 3060 с 64 ГБ выдаёт 7,4 токена/с, но все замеры сняты на одной машине и никем не повторены. Третий маршрут через llamacpp на 12 ГБ пока не готов: руководство Unsloth хочет около 128 ГБ суммарной памяти, а опубликованных результатов на 12 ГБ нет.
Практика
- Что получишь
- Поймёте, какой маршрут подходит под ваши RAM, SSD и GPU, и не потратите вечер на загрузку модели, которая у вас не заведётся.
- Первый шаг
- Начните с проверки свободного места на NVMe-диске и объёма RAM, а при 64 ГБ ставьте Strata одной командой с двухбитным файлом.
- Цифры
- —7,4 токена/с — лучшая скорость Prometheus на RTX 3060 с 64 ГБ RAM в тёплом режиме
- —1,84 токена/с — скорость записи у стороннего тестера на RTX 5070 с 32 ГБ RAM
- —10 из 12 против 2 из 12 — оценки облачного DeepSeek и локальной двухбитной копии за одинаковую игру в слепом тесте
- —1,1 ТБ — свободное место на SSD, которое требует Prometheus для полных весов, копии и корректирующих слоёв
- Честно
- Автор продвигает платное членство в канале: участники получают приоритетные ответы в комментариях, кнопка вступления — под видео, сами движки бесплатны. Официальные скорости Strata замерены разработчиками на своих машинах, а у сторонних тестеров с 32 ГБ RAM скорость падает до 1,84 токена/с. Все замеры Prometheus сняты на одной машине, второй чистой установки нет, а на 12 ГБ Strata по умолчанию отключает одного из шести экспертов, так что это не «тот самый» DeepSeek.
Если слова незнакомы — 5 терминов
- смесь экспертовархитектура, где в каждом слое много маленьких нейросетей-экспертов, и на конкретное слово работают только несколько
- N-gram-таблицыбыстрые таблицы частотных последовательностей слов, которые позволяют модели не гонять все веса для каждого слова
- перплексиямера того, насколько модель удивляется реальному тексту; выше — значит предсказания хуже
- токенминимальный кусочек текста, который модель читает или пишет; скорость меряют в токенах в секунду
- двухбитная копиясжатая версия модели, где веса хранятся в 2 битах вместо обычных 16, поэтому занимает меньше памяти, но теряет точность
Понадобится экран
Часть информации есть только на экране (код в терминале). Открыть на YouTube с 3:25.
Связки из этого ролика
4 шт.- DeepSeek v4.1 flash + Strata
- DeepSeek v4.1 flash + Prometheus
- DeepSeek v4.1 flash + llama.cpp
- RTX 3060 + 64GB RAM + NVMe SSD
Компоненты
5 шт.Цитаты-доказательства
дословно из субтитровФормат: обзор · для практикующих · уверенность разметки 0.82 · источник