Victoria: Qwen 3.8 Flash Next на 128 ГБ Mac

Что в ролике
Victoria — сжатая версия Qwen 3,8 Flash Next: из 512 маршрутизируемых экспертов в каждом слое осталось 288, то есть обрезка составила 44 %. Выпуск разделён на два формата — GGUF для локального запуска через llama.cpp и NVFP4 для серверных GPU Blackwell под vLLM. На 128 ГБ Mac с чипом M3 Max GGUF-сборка выдаёт от 27 до 38 токенов в секунду в зависимости от работы draft head, а заявленные 280 токенов в секунду относятся к NVFP4 на B300, а не к потребительскому железу. По памяти GGUF держит около 53 ГБ активных весов, но скачивать нужно 107 или 155 ГБ с полной таблицей, и на Apple Silicon эта таблица всё равно расходует общую физическую память. В бенчмарке Terminal Bench 2,1 4-битная Victoria решила 67 из 89 задач, тогда как несжатая исходная модель — 79, причём на задачу давалось до 8 часов. Более агрессивная обрезка до 144 экспертов в эксперименте Vernon дала на HumanEval 36 % до обучения и 50,6 % после 300 шагов, после чего обучение остановили. Итог: модель экономит память, но теряет часть способностей, поэтому её стоит проверять на своих задачах, если у вас уже есть мощный Mac или сервер.
Практика
- Что получишь
- Понимание, сколько памяти реально требует Victoria в GGUF и NVFP4, и какую потерю в задачах кодинга даёт сжатие, чтобы решить, менять ли рабочую модель.
- Первый шаг
- Если у вас Mac с объёмом памяти от 128 ГБ, начните с GGUF-сборки Victoria и патченного llama.cpp, затем запустите один тестовый ответ с коротким контекстом.
- Цифры
- —44 % — на столько уменьшили число маршрутизируемых экспертов (512 → 288)
- —27–38 токенов в секунду — скорость GGUF-сборки на 128 ГБ Mac M3 Max без и с draft head
- —67 из 89 задач — результат Victoria на Terminal Bench 2,1 против 79 у несжатой модели
- —155 ГБ — размер скачиваемой GGUF-сборки с полной таблицей точности
- Честно
- Ролик — разбор чужого релиза без партнёрских вставок, в конце только просьба подписаться на канал. Все замеры взяты из материалов издателя, а не перепроверены автором: конкретные файлы патченного llama.cpp и бенчмарки придётся искать у издателя. Заявленные 280 токенов в секунду относятся к серверному B300, а не к локальному Mac.
Если слова незнакомы — 5 терминов
- экспертспециализированная подсеть модели, которую маршрутизатор выбирает для обработки токена
- draft headнебольшая часть модели, которая заранее предлагает несколько вариантов следующих токенов для ускорения генерации
- GGUFформат файла модели для локального запуска через программу llama.cpp
- NVFP4формат модели под 4-битное представление, ориентированный на серверные GPU NVIDIA Blackwell
- vLLMсерверный движок для эффективного обслуживания языковых моделей на GPU
Связки из этого ролика
2 шт.- llama.cpp + GGUF
- vLLM + NVFP4
Компоненты
3 шт.Формат: обзор · для продвинутых · уверенность разметки 0.85 · источник