DeepSeek V4.1 Flash и GLM 5.3 на слабом ПК: обзор

Что в ролике
Автор тестирует свежий релиз Project Maya — форка Strata (гибрид Llama C++), который добавил поддержку DeepSeek V4.1 Flash 1017 checkpoint, на довольно скромной машине Dell Precision T5810 с двумя RTX 3060. На этом ПК с 22-ядерным Xeon E5 2696 V4 и 256 ГБ RAM модель DeepSeek V4.1 Flash выдаёт около 11,1 токена в секунду, а GLM 5.3 Flash — примерно 50–60 токенов в секунду. Для проверки он просит обе модели сгенерировать анимированный SVG кота на заборе: GLM 5.3 сразу выдаёт качественную картинку с анимацией, а DeepSeek после 4 413 секунд раздумий рисует более простую версию с одним глазом. Автор также показывает браузерную игру Turret Control на arcade.digitalpaceport.com, собранную с помощью этих моделей: на неё ушло около 350 млн токенов, 56 коммитов и пара дней. Он отмечает, что Project Maya даёт префилл около 1100–1500 токенов в секунду на миллионном контекстном окне, а сам он сейчас работает на 128k контекста. В конце автор благодарит разработчиков и сообщество, предлагает подписаться и посмотреть плейлист по сборке локальных машин.
Практика
- Что получишь
- Поймёте, какую скорость можно ожидать от DeepSeek V4.1 Flash и GLM 5.3 на машине с двумя RTX 3060, и увидите примеры генерации SVG и игрового проекта.
- Первый шаг
- Скачать релиз Project Maya (форк Strata) и запустить его локально, начав с модели GLM 5.3 Flash, как показано в видео.
- Цифры
- —11,1 токена/с — скорость генерации DeepSeek V4.1 Flash на тестовом ПК с двумя RTX 3060
- —350 млн токенов — столько ушло на создание игры Turret Control
- —56 коммитов — количество итераций при разработке игры
- —1100–1500 токенов/с — скорость префилла Project Maya на миллионном контексте
- Честно
- Автор продвигает свою игру Turret Control на arcade.digitalpaceport.com и просит подписаться/стать членом канала; в ролике нет пошаговой инструкции, поэтому команды и настройки придётся смотреть на экране. Точные параметры запуска и конфигурация окружения не проговариваются, повторение потребует самостоятельной настройки Project Maya или Llama C++.
Если слова незнакомы — 5 терминов
- токенединица текста, которую модель обрабатывает или генерирует
- контекстное окнообъём текста, который модель держит в памяти при ответе
- префиллэтап быстрой обработки входного текста до генерации первого токена
- форкответвление проекта с изменениями на основе исходного кода
- checkpointсохранённая версия обученной модели
Связки из этого ролика
2 шт.- Project Maya + DeepSeek V4.1 Flash
- Project Maya + GLM 5.3 Flash
Компоненты
5 шт.Формат: обзор · для практикующих · уверенность разметки 0.8 · источник