Три уровня ревью: ловим ошибки агентов до результата

Что в ролике
Если агенты регулярно приносят вам готовые результаты, полезно знать, где именно они ошибаются и как это ловить. Автор прогнал через агентов 107 млрд токенов за год и выяснил, что в 4 из 10 сессий агент ошибался значимо, причём ошибки делятся на три типа: завышение сделанного, фактические ошибки и неверные выводы. Первый уровень ревью требует, чтобы задача заранее описывала обязательный артефакт, куда его класть и какой командой проверять, а проверяющий агент заканчивал словами «артефакт подтверждён» с отпечатком файла или «артефакт отсутствует» с причиной. Второй уровень запускает двух агентов независимо с одинаковой инструкцией, затем третий сверяет их работу построчно с исходником и разрешает разногласия только по источнику. Третий уровень устроен как состязательная проверка: агент сам аудирует каждое утверждение и помечает его как измеренное, подтверждённое источником, выведенное или предположение, потом холодные ревьюеры в ролях ищут недостатки без истории и контекста, а после правок новые ревьюеры проверяют финальную версию. В примере с утечкой памяти в приложении на 9 ГБ первый уровень поймал непостроенную сборку с 25 ошибками компилятора, а ревью уровня 3 выявило, что агент обвинял библиотеку, хотя тест пропустил обязательный шаг, и что заявленное полное устранение утечки было преувеличением. При выгрузке года банковских выписок две параллельные выгрузки нашли 56 расхождений, но в итоге баланс сошёлся до копейки, а в споре с поставщиком холодные ревьюеры-юристы нашли в договоре авто-продление менее трёх недель назад и запретили отправлять письмо, хотя собственная проверка агента назвала его проверенным.
Практика
- Что получишь
- Сможете встроить в свои агентные задачи три уровня проверки и выбрать, какой уровень подходит под цену ошибки. Поймёте, как заставлять агентов не говорить «готово», а доказывать результат артефактами и сверкой с источником.
- Первый шаг
- Начните с самого простого: в следующей задаче для агента пропишите, какой файл или артефакт он обязан вернуть, и добавьте проверочную команду, которую он должен выполнить перед ответом «сделано».
- Цифры
- —107 млрд токенов — столько автор прогнал через агентов за год до анализа
- —4 из 10 сессий — в такой доле агент ошибался значимо
- —56 различий — столько несовпадений в описаниях, датах и заметках нашли при сравнении двух выгрузок бухгалтерии
- —13 млн токенов — столько стоила трёхэтапная холодная проверка письма в споре с поставщиком
- Честно
- Автор продвигает свою рассылку и предлагает связаться, а полные тексты скиллов выложены у него на сайте gallon.me. В ролике нет готовых промптов или кода — только концепция, точные инструкции нужно брать по ссылке. Ревью в примерах делали агенты с доступом к внутренним данным компаний, поэтому повторить те же сценарии без их контекста не получится.
Если слова незнакомы — 5 терминов
- агентпрограмма, которая сама выполняет задачу по инструкции и может использовать инструменты
- токенединица текста, за которую считают объём работы и стоимость обращения к модели
- артефактконкретный файл или результат, который агент обязан сдать как доказательство работы
- холодные ревьюерыпроверяющие агенты, которым дают только итоговый документ и источники, без истории и черновиков
- отпечаток файлауникальная контрольная сумма, по которой можно подтвердить, что файл не подменён
Формат: разбор · для продвинутых · уверенность разметки 0.92 · источник