К содержимому
Дайджест

Victoria: Qwen 3.8 Flash Next на 128 ГБ Mac

The Stack·5 октября 2026·11:07
можно прочитать выбрать инструмент
Открыть на YouTube
Разбор того, сколько памяти и качества требует сжатая версия Qwen 3.8 Flash Next под названием Victoria и на каком железе её реально запустить.

Что в ролике

Victoria — сжатая версия Qwen 3,8 Flash Next: из 512 маршрутизируемых экспертов в каждом слое осталось 288, то есть обрезка составила 44 %. Выпуск разделён на два формата — GGUF для локального запуска через llama.cpp и NVFP4 для серверных GPU Blackwell под vLLM. На 128 ГБ Mac с чипом M3 Max GGUF-сборка выдаёт от 27 до 38 токенов в секунду в зависимости от работы draft head, а заявленные 280 токенов в секунду относятся к NVFP4 на B300, а не к потребительскому железу. По памяти GGUF держит около 53 ГБ активных весов, но скачивать нужно 107 или 155 ГБ с полной таблицей, и на Apple Silicon эта таблица всё равно расходует общую физическую память. В бенчмарке Terminal Bench 2,1 4-битная Victoria решила 67 из 89 задач, тогда как несжатая исходная модель — 79, причём на задачу давалось до 8 часов. Более агрессивная обрезка до 144 экспертов в эксперименте Vernon дала на HumanEval 36 % до обучения и 50,6 % после 300 шагов, после чего обучение остановили. Итог: модель экономит память, но теряет часть способностей, поэтому её стоит проверять на своих задачах, если у вас уже есть мощный Mac или сервер.

Практика

Что получишь
Понимание, сколько памяти реально требует Victoria в GGUF и NVFP4, и какую потерю в задачах кодинга даёт сжатие, чтобы решить, менять ли рабочую модель.
Первый шаг
Если у вас Mac с объёмом памяти от 128 ГБ, начните с GGUF-сборки Victoria и патченного llama.cpp, затем запустите один тестовый ответ с коротким контекстом.
Цифры
  • —44 % — на столько уменьшили число маршрутизируемых экспертов (512 → 288)
  • —27–38 токенов в секунду — скорость GGUF-сборки на 128 ГБ Mac M3 Max без и с draft head
  • —67 из 89 задач — результат Victoria на Terminal Bench 2,1 против 79 у несжатой модели
  • —155 ГБ — размер скачиваемой GGUF-сборки с полной таблицей точности
Честно
Ролик — разбор чужого релиза без партнёрских вставок, в конце только просьба подписаться на канал. Все замеры взяты из материалов издателя, а не перепроверены автором: конкретные файлы патченного llama.cpp и бенчмарки придётся искать у издателя. Заявленные 280 токенов в секунду относятся к серверному B300, а не к локальному Mac.
Если слова незнакомы — 5 терминов

Связки из этого ролика

2 шт.

Компоненты

3 шт.

Формат: обзор · для продвинутых · уверенность разметки 0.85 · источник