К содержимому
Дайджест

Что реально стоит запуск MiMo V2.6 Pro и Flash локально

Kai·27 сентября 2026·14:30
можно прочитать понять, как устроено
Открыть на YouTube
Разбор реальных требований к железу и цены запуска моделей Xiaomi MiMo V2.6 Pro и Flash локально, с расчётами и альтернативой для обычных пользователей.

Что в ролике

Автор разбирает, почему совет «просто квантуй до 4 бит» не работает для MiMo V2.6 Pro и Flash: Pro весит 573 ГБ и уже обучен в 4-битном формате MXFP4, поэтому дальнейшее сжатие резко ухудшает качество. Для Flash реально нужен минимум 256 ГБ памяти — Mac Studio с M5 Ultra за 11 300 долларов или пара DGX Spark за 9 400, но длинный контекст снижает скорость до 12–15 токенов в секунду. Pro вообще не влезает в одиночный Mac, самая большая доступная модель имеет 512 ГБ, поэтому для него нужен сервер на AMD EPYC с 768 ГБ DDR5, который стоит около 40 800 долларов и даёт потолок 16 токенов в секунду. Даже этот сервер не окупается: при цене API 87 центов за миллион выходных токенов у Pro и 28 у Flash электричество только дороже, а окупить железо генерацией не получится ни при каких объёмах. Локальный запуск имеет смысл только ради скорости: на паре RTX Pro 6000 можно получить 190 токенов в секунду против 18–40 у API, но это железо за 30 000 долларов. Ещё есть подводные камни в конфиге: ограничение 48 токенов на ответ и выключенный сэмплинг, из-за чего агенты застревают в циклах. Практичный выход для большинства — дистиллированная модель MiMo Distill на 9 млрд параметров, которая набирает 61 балл на бенчмарке и работает на RTX 3060 с 12 ГБ со скоростью 47 токенов в секунду.

Практика

Что получишь
Понимание реальных требований к железу и расходов на локальный запуск MiMo V2.6 Pro и Flash, а также готовую альтернативу в виде Distill, которую можно запустить на обычной видеокарте.
Первый шаг
Проверьте объём оперативной памяти и видеокарты на своём компьютере; если у вас меньше 256 ГБ RAM, начните с MiMo V2.6 Distill 9B, а не с Pro или Flash.
Цифры
  • —573 ГБ — размер загрузки MiMo V2.6 Pro, уже сжатого до 4 бит при обучении
  • —40 800 долларов — цена сервера с AMD EPYC и 768 ГБ DDR5, минимального для запуска Pro
  • —87 центов — стоимость 1 миллиона выходных токенов Pro через API Xiaomi
  • —47 токенов в секунду — скорость MiMo V2.6 Distill на видеокарте RTX 3060 с 12 ГБ
Честно
Ролик не содержит явной рекламы или ссылок на покупку, но автор монетизируется через YouTube и просит подписаться. Все цены и скорости взяты из чужих тестов и тредов, а не из собственных замеров; некоторые конфигурации (например, пара RTX Pro 6000) требуют патчей, которые не объяснены.
Если слова незнакомы — 6 терминов

Связки из этого ролика

5 шт.

Компоненты

6 шт.

Формат: разбор · для практикующих · уверенность разметки 0.9 · источник