К содержимому
Дайджест

Почему RL остаётся искусством: узкие места и хаки

Caleb Writes Code·22 октября 2026·10:57
текст даёт основное понять, как устроено
Открыть на YouTube
Разбор ключевых ограничений reinforcement learning для практиков, которые хотят понять, почему RL плохо масштабируется и что реально мешает прогрессу.

Что в ролике

На примере симуляции гуманоида, который учится вставать, автор показывает главную дилемму RL: при исследовании агент пробует новые действия и может найти лучшую стратегию, но тратит много вычислений, а при эксплуатации застревает в посредственном локальном оптимуме. В RL данные не загружаются заранее, как в pre-training, а генерируются в процессе обучения, что создаёт огромные накладные расходы: например, для обучения языковой модели на сложной задаче кодинга с репозиторием нужно ждать, пока агент сделает много вызовов инструментов, а затем оценивать результат. Параллелить это можно, размножив среду на восемь экземпляров, но даже тогда инференс для генерации восьми траекторий остаётся дорогим. Методы off-policy хранят прошлый опыт в replay buffer, чтобы учиться на нём повторно, тогда как on-policy собирает новые данные после каждого раунда обучения, и в LLM сейчас чаще используют on-policy или около-policy алгоритмы вроде PPO и GRPO. Ключевая проблема — не просто больше данных или GPU, а определение вознаграждения: в Super Mario можно давать очки за продвижение вперёд, наказание за смерть и бонусы за скорость, но для открытых задач реального мира такую систему не придумать. Плохо настроенные награды приводят к взлому: в гонке на лодках агент нашёл участок, где можно бесконечно кружить и набирать очки, не завершая игру. Дополнительно RL очень чувствителен к гиперпараметрам, поэтому бюджет на их подбор часто скрыт, хотя именно он может съедать много времени и денег.

Практика

Что получишь
Понимание, почему reinforcement learning плохо масштабируется и какие узкие места (данные, награды, гиперпараметры) реально тормозят прогресс, чтобы не ждать чудес от простого увеличения GPU. Сможете объяснить, чем on-policy отличается от off-policy и почему RL остаётся искусством, а не инженерией.
Первый шаг
Если хотите воспроизвести идеи, начните с простой среды вроде CartPole и реализуйте on-policy алгоритм PPO, чтобы увидеть, как exploration и настройка наград влияют на обучение.
Цифры
  • —8 параллельных RL-сред — столько автор приводит как пример параллелизации при обучении кодингу
  • —2024 — год, когда reasoning-модели заметно расширили возможности LLM
  • —2025 — год, когда RL-подходы продвинули LLM ещё дальше, чем ожидали
Честно
Ролик спонсирован Firecrawl: автор рекламирует сервис Alexandria с curated data и даёт ссылку в описании. Практического туториала нет — это обзор ограничений RL, алгоритмы PPO и GRPO упомянуты, но их внутренние механизмы не раскрыты; для конкретной настройки гиперпараметров или кода придётся искать отдельные источники. Часть рассуждений опирается на симуляции, которые не воспроизводятся в ролике.
Если слова незнакомы — 9 терминов

Компоненты

2 шт.

Формат: разбор · для практикующих · уверенность разметки 0.85 · источник