К содержимому
Дайджест

Рецепт стабильного RL для своих агентов от Modal

AI Engineer·9 ноября 2026·20:51
можно прочитать понять, как устроено промо
Открыть на YouTube
Технический доклад с AI Engineer о том, как инженерам обучать собственные агентные модели через reinforcement learning и почему теперь это практично.

Что в ролике

Инженеры часто меняют модели как статические бэкенды, но при конкуренции агентов это проигрышная стратегия: для надёжных SLO, специфичных данных и отстройки нужен свой файнтюнинг. Для агентов SFT плох, потому что сессии ветвятся, и модель на проде может попасть в ветку, которой не видела, а RL как раз даёт исследовать эти ветки в обучении. Докладчик из Modal предлагает рецепт: GRPO плюс masked importance sampling для токенов, score centering от накопленного дрейфа и top-p sampling с mask replay, что делает обучение стабильным даже на разнородном железе. В примере на Qwen 3.6 35B MoE в код-окружении абляция показала стабильную кривую на Stable Bench Pro, hard 51. Для инфраструктуры Modal использует сжатие разреженных дельт весов в 1000 раз, чтобы вынести инференс из кластера, и запускает роллауты на разных GPU, включая дешёвые типы; это дало 15% дешевле без потери стабильности. Такой подход позволяет агентным командам владеть полным стеком и файнтюнить свои модели, не арендуя гигантский однородный кластер.

Практика

Что получишь
Практический рецепт RL для файнтюнинга агентов: три техники стабилизации и способ вынести инференс на дешёвые GPU, экономя около 15% стоимости роллаутов.
Первый шаг
Прочитать блог-пост Modal с деталями рецепта или дождаться выхода исходного кода на Miles и SGLang, чтобы воспроизвести обучение на своей задаче.
Цифры
  • —1000 раз — во столько сжимаются разреженные дельты весов, по словам докладчика, что позволяет передавать обновления между кластером и роллаутами
  • —15% дешевле — настолько снизилась стоимость роллаутов при использовании разнородных GPU вместо только B200
  • —15–20 провайдеров — столько облачных и нео-облачных поставщиков агрегирует Modal для своего парка GPU
  • —4–5 раз — настолько выше допустимая неоднородность железа, при которой обучение остаётся стабильным
Честно
Доклад — презентация возможностей Modal, автор продвигает платформу и анонсирует blog post и скорый релиз кода. Многие технические детали (формулы, точные гиперпараметры) на слайдах и в блоге, в пересказе их недостаточно для воспроизведения. Исходный код на момент записи ещё не выпущен, только обещание «very soon».
Если слова незнакомы — 8 терминов

Связки из этого ролика

1 шт.

Компоненты

3 шт.

Формат: разбор · для продвинутых · уверенность разметки 0.85 · источник