Как агент Weco AI стал топ-1 в Parameter Golf

Что в ролике
Чтобы повторить успех автоисследований, спикеры Weco AI сначала объясняют схему: языковая модель получает код и replayable-скрипт оценки, пробует идеи, оставляет улучшения и отбрасывает остальное. В Parameter Golf от OpenAI ограничения жёсткие: модель с весами и кодом должна уложиться в 16 МБ, обучение — в 10 минут, а метрика bpb на валидационном наборе fineweb должна быть как можно ниже. Их агент Aiden, мультиагентная система на базе Claude и GPT, сам искал статьи на arXiv, реализации на GitHub, генерировал идеи, прогонял их через проверки и отправлял пул-реквесты. В итоге Aiden залил 7 принятых рекордов, вдвое больше ближайшего человека, и получил 15% всех merged PR при 4% потраченного GPU-бюджета сообщества. Дальше авторы показывают мини-версию челленджа: файл solution.py задаёт конфиг и обучение, eval-скрипт выдаёт одно число, а поиск идёт 20 шагов с лимитом 210 секунд на каждую оценку. Они отдельно разбирают tree-based search, observability и steerability — возможность подкинуть агенту свою идею и увидеть, как она меняет ветку поиска. В финале участникам предлагают соревнование Flappy Bird в четырёх мирах, где нужно оптимизировать только controller.py, не трогая игру и оценку.
Практика
- Что получишь
- Поймёте, как устроен цикл автоисследования, и сможете запустить своего агента на мини-версии Parameter Golf, а затем перенести схему на свои метрики.
- Первый шаг
- Зарегистрироваться на dashboard.ai и modal.com, забрать код на кредиты Modal, склонировать репозиторий mini-PG и попросить своего coding-агента запустить установку из README.
- Цифры
- —16 МБ — максимальный суммарный размер весов и кода модели в Parameter Golf
- —10 минут — лимит на обучение каждой модели в челлендже
- —435 downstream PR — столько чужих работ построено на решениях Aiden
- —15% — доля принятых рекордов от всех merged PR, которую взял Aiden при 4% GPU-бюджета сообщества
- Честно
- Это промо Weco AI: они показывают свой дашборд, бесплатные кредиты Modal зашиты в QR-код на слайде, а в конце разыгрывают Nintendo Switch среди участников соревнования. Часть команд и инструкций видна только на слайдах и в репозитории, в транскрипте их нет, поэтому для повторения придётся смотреть запись или слайды. Во время воркшопа были проблемы с интернетом, и часть живой демонстрации шла через мобильный хот-спот, поэтому некоторые шаги показаны фристайлом.
Если слова незнакомы — 4 терминов
- автоисследованиецикл, где агент сам меняет код, прогоняет тесты и оставляет улучшения
- bpbбиты на байт — метрика того, насколько хорошо модель предсказывает текст; ниже значит лучше
- evalскрипт, который оценивает решение и возвращает одно число для сравнения
- пул-реквестпредложение изменить код в GitHub, которое принимают мейнтейнеры
Понадобится экран
Часть информации есть только на экране (проход по интерфейсу). Открыть на YouTube с 10:30.
Связки из этого ролика
2 шт.- LLM + tree-based search
- auto research loop + eval metric
Компоненты
4 шт.Цитаты-доказательства
дословно из субтитровФормат: пошаговый урок · для практикующих · уверенность разметки 0.85 · источник