К содержимому
Дайджест

MiMo V2.6: посттренинг за 5 дней на тысячах GPU

Caleb Writes Code·17 октября 2026·12:29
можно прочитать понять, как устроено
Открыть на YouTube
Технический разбор посттренинга модели MiMo V2.6 от Xiaomi: как организован асинхронный reinforcement learning на тысячах GPU, для инженеров и исследователей, которые хотят понять внутренности RL.

Что в ролике

Если вы задавались вопросом, сколько стоит посттренинг большой языковой модели, Xiaomi потратила $2,6 млн на Pro и $854 тысячи на Flash, а весь процесс занял меньше 6 дней. Ключевая сложность в том, что в RL роллауты имеют разную длину и синхронизация GPU приводит к простоям, поэтому Xiaomi использует частичный роллаут, предложенный Moonshot в июне 2025 года: генерацию прерывают, сохраняют в буфер и пересчитывают KV-кэш с обновлёнными весами. Чтобы GPU не простаивали, обучение делают асинхронным, допуская временное расхождение политик (policy staleness), при этом у Flash отставание около одного шага, а у Pro почти нулевое. Для быстрого инференса модель квантуют в MXFP4, а тренировка идёт в более высокой точности, поэтому даже синхронные системы могут выдавать разные токены. Данные отбирают динамическим сэмплером, который отбрасывает группы, где все 16 попыток прошли или все провалились, оставляя смесь успешных и неудачных роллаутов. На одном шаге сэмплируют 1568 задач по 16 роллаутов, каждый в среднем генерирует 110–150 тысяч токенов, что даёт 2,8–3,8 млрд токенов за шаг, а за 30 шагов Flash потратил 81 млрд токенов, Pro — 75 млрд. Функция потерь учитывает преимущество роллаута относительно группы, отношение вероятностей новой и старой политик, адаптивный clipping и маску 0/1, а нормализация по длине не даёт длинным ответам доминировать. Для устойчивости модель обучают на 23 разных harness-окружениях, а в статье также описаны штрафы за длинные токены и неверные tool calls.

Практика

Что получишь
Понимание того, как устроен масштабный RL-посттренинг: частичные роллауты, асинхронность, отбор данных и функция потерь — без чтения 50-страничной статьи.
Первый шаг
Открыть оригинальную статью MiMo V2.6 и раздел про RL-инфраструктуру, чтобы по формулам и графикам проверить описанные механики.
Цифры
  • —$2,6 млн — стоимость посттренинга Pro-модели
  • —$854 тысячи — стоимость посттренинга Flash-версии
  • —30 шагов — за них Flash сгенерировал 81 млрд токенов, Pro — 75 млрд
  • —25 000+ RL-сред — одновременно запущено при 1568 задачах и 16 попытках на каждую
Честно
Автор не продвигает платные продукты и не даёт партнёрских ссылок. Все данные взяты из открытой статьи Xiaomi; для полного понимания формул и графиков нужно открыть саму статью или поставить видео на паузу, потому что в речи они объясняются упрощённо.
Если слова незнакомы — 8 терминов

Связки из этого ролика

1 шт.

Компоненты

4 шт.

Формат: разбор · для продвинутых · уверенность разметки 0.88 · источник