Что реально стоит запуск MiMo V2.6 Pro и Flash локально

Что в ролике
Автор разбирает, почему совет «просто квантуй до 4 бит» не работает для MiMo V2.6 Pro и Flash: Pro весит 573 ГБ и уже обучен в 4-битном формате MXFP4, поэтому дальнейшее сжатие резко ухудшает качество. Для Flash реально нужен минимум 256 ГБ памяти — Mac Studio с M5 Ultra за 11 300 долларов или пара DGX Spark за 9 400, но длинный контекст снижает скорость до 12–15 токенов в секунду. Pro вообще не влезает в одиночный Mac, самая большая доступная модель имеет 512 ГБ, поэтому для него нужен сервер на AMD EPYC с 768 ГБ DDR5, который стоит около 40 800 долларов и даёт потолок 16 токенов в секунду. Даже этот сервер не окупается: при цене API 87 центов за миллион выходных токенов у Pro и 28 у Flash электричество только дороже, а окупить железо генерацией не получится ни при каких объёмах. Локальный запуск имеет смысл только ради скорости: на паре RTX Pro 6000 можно получить 190 токенов в секунду против 18–40 у API, но это железо за 30 000 долларов. Ещё есть подводные камни в конфиге: ограничение 48 токенов на ответ и выключенный сэмплинг, из-за чего агенты застревают в циклах. Практичный выход для большинства — дистиллированная модель MiMo Distill на 9 млрд параметров, которая набирает 61 балл на бенчмарке и работает на RTX 3060 с 12 ГБ со скоростью 47 токенов в секунду.
Практика
- Что получишь
- Понимание реальных требований к железу и расходов на локальный запуск MiMo V2.6 Pro и Flash, а также готовую альтернативу в виде Distill, которую можно запустить на обычной видеокарте.
- Первый шаг
- Проверьте объём оперативной памяти и видеокарты на своём компьютере; если у вас меньше 256 ГБ RAM, начните с MiMo V2.6 Distill 9B, а не с Pro или Flash.
- Цифры
- —573 ГБ — размер загрузки MiMo V2.6 Pro, уже сжатого до 4 бит при обучении
- —40 800 долларов — цена сервера с AMD EPYC и 768 ГБ DDR5, минимального для запуска Pro
- —87 центов — стоимость 1 миллиона выходных токенов Pro через API Xiaomi
- —47 токенов в секунду — скорость MiMo V2.6 Distill на видеокарте RTX 3060 с 12 ГБ
- Честно
- Ролик не содержит явной рекламы или ссылок на покупку, но автор монетизируется через YouTube и просит подписаться. Все цены и скорости взяты из чужих тестов и тредов, а не из собственных замеров; некоторые конфигурации (например, пара RTX Pro 6000) требуют патчей, которые не объяснены.
Если слова незнакомы — 6 терминов
- квантованиесжатие точности чисел, которыми представлены веса модели, до меньшего числа бит, чтобы уменьшить размер
- MXFP4формат хранения весов с плавающей запятой 4 бита, встроенный в модель при обучении
- токенминимальная единица текста, которую модель читает и генерирует; примерно слово или часть слова
- KV-кэшсохранённые в памяти результаты внимания модели к контексту, ускоряющие генерацию
- сэмплингпроцесс выбора следующего токена; при выключенном сэмплинге модель всегда выбирает наиболее вероятный вариант, что может зациклить
- Distillуменьшенная модель, обученная на ответах более крупной модели для сохранения качества при меньших ресурсах
Связки из этого ролика
5 шт.- NVIDIA DGX Spark
- AMD Ryzen AI Max
- Apple M5 Ultra
- AMD EPYC + DDR5
- NVIDIA RTX Pro 6000
Компоненты
6 шт.Формат: разбор · для практикующих · уверенность разметки 0.9 · источник