Claude-агент сам исправил переобучение нейросети

Что в ролике
Если модель учится на данных, где каждая десятая подпись неверна, обычный оптимизатор запоминает все 4 500 ошибок, а версия с агентом — только 250. Opel — это библиотека для PyTorch, которая оборачивает оптимизатор и каждые N шагов передаёт отчёт агенту, чтобы тот переписывал код обновления весов, не трогая модель и данные. Автор повторил один эксперимент из статьи на одной H100 в RunPod с Claude Opus 5.5 в роли агента: 45 000 обучающих картинок, 4 500 неверных подписей, 5 000 чистых картинок для контроля. Агент почти сразу заменил оптимизатор, заметил переобучение на 24-м проходе и после неудач с flooding и шумом пришёл к усреднению весов — приёму stochastic weight averaging. К середине прогона точность на чистых картинках выросла до 78% против 75% у фиксированного рецепта, а к финалу агент дал 79,1% точности и loss 0,70 против 74,4% и 2,39 у обычного подхода. Запуск занял около 45 минут, агент стоил примерно 760 долларов в токенах, и из 4 500 неверных подписей версия с агентом запомнила только 250. Автор признаёт: основной выигрыш дало известное с 2018 года усреднение весов, а один прогон на маленькой модели со сломанными данными не доказывает масштабируемость.
Практика
- Что получишь
- Поймёте, как работает Opel и реактивные оптимизаторы, и увидите на реальном прогоне, что агент может заметить переобучение раньше человека и подобрать рабочий приём за один тренировочный запуск.
- Первый шаг
- Найти репозиторий Opel на GitHub по ссылке под видео и запустить пример на небольшом датасете, заменив свой оптимизатор обёрткой Opel.
- Цифры
- —4 500 — столько неверных подписей было в обучающих данных, и обычная модель запомнила их все
- —250 — столько из этих неверных подписей запомнила версия с агентом
- —79,1% против 74,4% — точность на финальном тесте у агентской и обычной моделей
- —760 долларов — столько стоили токены агента Claude Opus 5.5 за 45 минут прогона
- Честно
- Ролик снят брендом Better Stack и заканчивается призывом подписаться на канал, но прямой рекламы продукта Better Stack в видео нет. Эксперимент проведён один раз на маленькой модели с намеренно испорченными данными, поэтому выводы не гарантируют такой же прирост на больших моделях. Для повторения нужна аренда H100, как у автора на RunPod, а агент Claude Opus 5.5 обошёлся примерно в 760 долларов на 45 минут.
Если слова незнакомы — 5 терминов
- оптимизаторчасть кода, которая решает, как обновлять веса модели после каждого шага обучения
- переобучениеситуация, когда модель запоминает примеры из обучения вместо того, чтобы выучить общие закономерности
- floodingметод, который искусственно держит функцию потерь выше, чтобы модель не слишком подгонялась под обучающие данные
- stochastic weight averagingприём усреднения весов модели с разных шагов обучения, чтобы получить более стабильный результат
- lossфункция потерь, число, показывающее, насколько сильно модель ошибается
Компоненты
4 шт.Формат: разбор кейса · для продвинутых · уверенность разметки 0.9 · источник