DeepSeek 763B на RTX 5070: 9,2 токена/с дома

Что в ролике
Если у вас дома видеокарта с 12 ГБ VRAM, 64 ГБ обычной памяти и быстрый NVMe-накопитель, вы можете запустить 763-миллиардную модель DeepSeek V4.1 Flash 107 прямо сейчас. Автор показывает это на RTX 5070 и получает от 6,2 до 9,2 токена в секунду в зависимости от задачи, хотя для кода такая скорость не годится. Для работы нужен фреймворк Strata, который изначально создавался под модели Qwen, но за несколько часов до записи получил поддержку DeepSeek. Используется квантизация IQ2XS GSQRCO GGF от австрийской лаборатории IST Austria, и по бенчмаркам она не уступает оригинальным FP4 и FP8-квантам этой модели. Автор подчёркивает, что в реальном мире DeepSeek V4.1 Flash запускают на кластере из восьми H200 стоимостью от 320 000 до 420 000 долларов, поэтому 9,2 токена в секунду дома — это компромисс, а не продакшен. Он подробно показывает команды: клонирование репозитория Strata, установку зависимостей, активацию виртуального окружения и запуск с Open WebUI на порту 8080. В конце он напоминает, что установка медленная, контекстное окно маленькое, но это работающий прототип того, что станет доступно всем.
Практика
- Что получишь
- Пошаговый рецепт запуска DeepSeek V4.1 Flash 107 на домашней видеокарте с 12 ГБ VRAM и понимание, какие комплектующие нужны и какой скорости ждать.
- Первый шаг
- Склонировать репозиторий Strata, установить зависимости и запустить команду для Open WebUI, следуя командам с экрана.
- Цифры
- —9,2 токена в секунду — максимальная скорость, которую автор получил на RTX 5070
- —763 миллиарда параметров — размер модели DeepSeek V4.1 Flash 107
- —12 ГБ VRAM и 64 ГБ оперативной памяти — минимальные требования видеокарты и RAM
- —320 000–420 000 долларов — стоимость кластера из восьми H200 для полноценного запуска модели
- Честно
- Автор активно продвигает свой канал: просит лайк, подписку и «хайп-кнопку», а также отсылает к другим своим видео про квантизацию и модель Qwen. Все команды показаны только на экране, в речи они не проговариваются полностью, поэтому для повторения придётся смотреть ролик. Установка не для продакшена: скорость низкая, контекстное окно маленькое, и нужен NVMe-накопитель, иначе будет около 2,5 токена в секунду.
Если слова незнакомы — 5 терминов
- токенединица текста, которую модель обрабатывает за один шаг
- VRAMпамять видеокарты, используемая для загрузки модели
- квантизациясжатие весов модели для уменьшения размера и ускорения работы
- контекстное окнообъём текста, который модель помнит в текущем разговоре
- фреймворкнабор инструментов для запуска моделей
Понадобится экран
Часть информации есть только на экране (код в терминале). Открыть на YouTube с 4:39.
Компоненты
3 шт.Цитаты-доказательства
дословно из субтитровФормат: пошаговый урок · для практикующих · уверенность разметки 0.9 · источник