Правки инженеров — данные для обучения агента-ревьюера

Что в ролике
Знакомо тем, кто виб-кодит на Rust или Go без глубокого знания языка: агент пишет код, а вы принимаете его как есть, потому что не можете обоснованно возразить. Brian Douglas из Paper Compute показывает, как из таких сессий с агентами собрать данные, размеченные сигналами вроде push back, когда инженер поправляет агента. Для сбора трасс он использует открытые tapes.dev и свой рантайм stereos с воспроизводимыми песочницами, а также консоль Paper, которая пока в waitlist. На основе размеченных сессий он сделал инструмент twin reviewer, который по номеру PR выдаёт комментарии в стиле конкретного инженера Matt, но сам инструмент не выложен из-за чувствительных данных. Вместо этого он показывает тот же пайплайн на Fireworks: специализированный файнтюнинг Qwen 4B на размеченных push back, квантование под GPU 5090 и создание скиллов для проверки кода. По его данным, у команды накопилось около 80 тысяч сессий, а для preference optimization нужны модели от 70B и дорогой доступ к GPU, которого у него не было. Практический совет: сначала писать скиллы, а не обучать модель, и собирать трассы любым инструментом, например tapes или Braintrust.
Практика
- Что получишь
- Сможете превратить исправления старших инженеров по коду агента в скиллы или дообученную модель, которая будет отлавливать такие же ошибки заранее.
- Первый шаг
- Начать с подключения захвата сессий через tapes.dev или Braintrust и пометить в логах моменты, где вы возражаете агенту.
- Цифры
- —около 80 000 сессий — столько данных было у команды для создания скиллов
- —10 агентов в параллель — предел его Sweeper Agent
- —до 200 песочниц Daytona он запускал одновременно
- —70B+ — минимальный размер модели для preference optimization, по его оценке
- Честно
- Автор продвигает собственные инструменты: tapes.dev и stereos — его проекты, а консоль Paper находится в waitlist, поэтому для повторения лучше брать tapes или Braintrust. Twin reviewer не открыт из-за конфиденциальных данных, а часть настроек пайплайна показана только на экране в демо.
Если слова незнакомы — 5 терминов
- push backпометка о том, что инженер не согласился с агентом
- трассызаписи всех действий агента и контекста сессии
- скиллытекстовые инструкции, которые учат агента конкретной проверке или действию
- специализированный файнтюнингдообучение небольшой части весов модели на узких примерах
- preference optimizationметод обучения, при котором модели показывают предпочтительные и нежелательные ответы
Понадобится экран
Часть информации есть только на экране (проход по интерфейсу). Открыть на YouTube с 3:53.
Связки из этого ролика
3 шт.- tapes.dev + Paper Console
- Fireworks + Qwen
- Daytona + Sweeper Agent
Компоненты
13 шт.Цитаты-доказательства
дословно из субтитровФормат: разбор кейса · для практикующих · уверенность разметки 0.9 · источник