Как довести агента с 41% до 97% точности

Что в ролике
Если вам нужно, чтобы агент собирал цены с сайтов конкурентов и заполнял таблицу, опыт Brainbase Labs показывает, как вывести такой конвейер с 41% до 97% точности. Для Domino’s агент должен был по списку позиций находить цену пиццы в приложениях и на сайтах, учитывать промо и способ получения, а сомнительные места помечать флагом. Команда зафиксировала термины и правила: цену, которую платит покупатель, определение «большой пиццы», математику скидок и запрет угадывать. Бенчмарки строили на прошлых таблицах аналитиков и снапшотах сайтов из веб-архива, а для онлайн-проверок использовали код, LM-as-judge и агента-судью, который проверяет каждый флаг. Первый агент охватывал один город, одно приложение и одну позицию и давал 41% точности, $2 за источник и 129 минут на прогон. Итерации включали простые правки правил, например смотреть всю страницу, а не только якорную секцию, и более сложные изменения в browser use: сначала читать HTML DOM и alt-тексты, а не разглядывать картинки. На версии 11 точность выросла до 97%, цена упала до $1 за источник, время — до 71 минуты, а аналитики просматривают только исключения.
Практика
- Что получишь
- Повторяемый шестишаговый процесс, который можно применить к своему агенту: от согласования критериев до передачи поддержки заказчику.
- Первый шаг
- Соберите прошлые результаты ручной работы и превратите их в бенчмарк, чтобы сразу измерять точность первой версии агента.
- Цифры
- —41% — точность первой версии агента
- —97% — точность после одиннадцати итераций
- —$2 за источник — стартовая стоимость, $1 — после оптимизации
- —129 минут — длительность прогона до оптимизации, 71 минута — после
- Честно
- Докладчик работает в Brainbase Labs и использует их внутреннюю memory-примитив, но явной рекламы курса или платного продукта нет. Код, правила и таблицы показаны на экране — для повторения придётся смотреть запись. Все цифры — заявленные результаты одного проекта, на других данных точность может отличаться.
Если слова незнакомы — 3 терминов
- LM-as-judgeпроверка ответа большой языковой моделью, которая оценивает качество по инструкции
- browser useуправление браузером агентом: клики, скролл, чтение страниц
- HTML DOMструктура веб-страницы, из которой можно читать текст и alt-описания без разглядывания картинок
Компоненты
3 шт.Формат: разбор кейса · для практикующих · уверенность разметки 0.85 · источник