К содержимому
Дайджест

Правки инженеров — данные для обучения агента-ревьюера

AI Engineer·10 ноября 2026·12:48
нужен экран можно повторить промо
Открыть на YouTube
Доклад с AI Engineer о том, как собирать и размечать сессии агентов, чтобы получать ревью кода без участия старшего инженера.

Что в ролике

Знакомо тем, кто виб-кодит на Rust или Go без глубокого знания языка: агент пишет код, а вы принимаете его как есть, потому что не можете обоснованно возразить. Brian Douglas из Paper Compute показывает, как из таких сессий с агентами собрать данные, размеченные сигналами вроде push back, когда инженер поправляет агента. Для сбора трасс он использует открытые tapes.dev и свой рантайм stereos с воспроизводимыми песочницами, а также консоль Paper, которая пока в waitlist. На основе размеченных сессий он сделал инструмент twin reviewer, который по номеру PR выдаёт комментарии в стиле конкретного инженера Matt, но сам инструмент не выложен из-за чувствительных данных. Вместо этого он показывает тот же пайплайн на Fireworks: специализированный файнтюнинг Qwen 4B на размеченных push back, квантование под GPU 5090 и создание скиллов для проверки кода. По его данным, у команды накопилось около 80 тысяч сессий, а для preference optimization нужны модели от 70B и дорогой доступ к GPU, которого у него не было. Практический совет: сначала писать скиллы, а не обучать модель, и собирать трассы любым инструментом, например tapes или Braintrust.

Практика

Что получишь
Сможете превратить исправления старших инженеров по коду агента в скиллы или дообученную модель, которая будет отлавливать такие же ошибки заранее.
Первый шаг
Начать с подключения захвата сессий через tapes.dev или Braintrust и пометить в логах моменты, где вы возражаете агенту.
Цифры
  • —около 80 000 сессий — столько данных было у команды для создания скиллов
  • —10 агентов в параллель — предел его Sweeper Agent
  • —до 200 песочниц Daytona он запускал одновременно
  • —70B+ — минимальный размер модели для preference optimization, по его оценке
Честно
Автор продвигает собственные инструменты: tapes.dev и stereos — его проекты, а консоль Paper находится в waitlist, поэтому для повторения лучше брать tapes или Braintrust. Twin reviewer не открыт из-за конфиденциальных данных, а часть настроек пайплайна показана только на экране в демо.
Если слова незнакомы — 5 терминов

Понадобится экран

Часть информации есть только на экране (проход по интерфейсу). Открыть на YouTube с 3:53.

Связки из этого ролика

3 шт.

Компоненты

13 шт.

Цитаты-доказательства

дословно из субтитров

Формат: разбор кейса · для практикующих · уверенность разметки 0.9 · источник