Рецепт стабильного RL для своих агентов от Modal

Что в ролике
Инженеры часто меняют модели как статические бэкенды, но при конкуренции агентов это проигрышная стратегия: для надёжных SLO, специфичных данных и отстройки нужен свой файнтюнинг. Для агентов SFT плох, потому что сессии ветвятся, и модель на проде может попасть в ветку, которой не видела, а RL как раз даёт исследовать эти ветки в обучении. Докладчик из Modal предлагает рецепт: GRPO плюс masked importance sampling для токенов, score centering от накопленного дрейфа и top-p sampling с mask replay, что делает обучение стабильным даже на разнородном железе. В примере на Qwen 3.6 35B MoE в код-окружении абляция показала стабильную кривую на Stable Bench Pro, hard 51. Для инфраструктуры Modal использует сжатие разреженных дельт весов в 1000 раз, чтобы вынести инференс из кластера, и запускает роллауты на разных GPU, включая дешёвые типы; это дало 15% дешевле без потери стабильности. Такой подход позволяет агентным командам владеть полным стеком и файнтюнить свои модели, не арендуя гигантский однородный кластер.
Практика
- Что получишь
- Практический рецепт RL для файнтюнинга агентов: три техники стабилизации и способ вынести инференс на дешёвые GPU, экономя около 15% стоимости роллаутов.
- Первый шаг
- Прочитать блог-пост Modal с деталями рецепта или дождаться выхода исходного кода на Miles и SGLang, чтобы воспроизвести обучение на своей задаче.
- Цифры
- —1000 раз — во столько сжимаются разреженные дельты весов, по словам докладчика, что позволяет передавать обновления между кластером и роллаутами
- —15% дешевле — настолько снизилась стоимость роллаутов при использовании разнородных GPU вместо только B200
- —15–20 провайдеров — столько облачных и нео-облачных поставщиков агрегирует Modal для своего парка GPU
- —4–5 раз — настолько выше допустимая неоднородность железа, при которой обучение остаётся стабильным
- Честно
- Доклад — презентация возможностей Modal, автор продвигает платформу и анонсирует blog post и скорый релиз кода. Многие технические детали (формулы, точные гиперпараметры) на слайдах и в блоге, в пересказе их недостаточно для воспроизведения. Исходный код на момент записи ещё не выпущен, только обещание «very soon».
Если слова незнакомы — 8 терминов
- RLобучение с подкреплением: модель пробует действия и получает оценку, улучшаясь
- SFTsupervised fine-tuning, дообучение на готовых парах запрос-ответ, плохо работает для ветвящихся агентных сессий
- GRPOметод RL для языковых моделей, впервые применённый в DeepSeek R1
- masked importance samplingкоррекция вероятностей токенов при рассинхроне между старыми и новыми весами модели
- score centeringудаление накопленного дрейфа весов при длительном обучении
- top-p samplingпараметр генерации, при котором модель выбирает только из токенов, составляющих верхние p суммарной вероятности
- MoEархитектура mixture of experts, где в каждый момент активна лишь часть параметров
- абляцияэксперимент с отключением отдельных техник для оценки их вклада
Связки из этого ролика
1 шт.- Modal + SGLang + veRL
Компоненты
3 шт.Формат: разбор · для продвинутых · уверенность разметки 0.85 · источник