К содержимому
Дайджест

Как довести агента с 41% до 97% точности

AI Engineer·5 ноября 2026·13:23
текст даёт основное можно повторить промо пошагово
Открыть на YouTube
Доклад инженера Brainbase Labs о том, как поэтапно вывести агента сбора цен на уровень точности 97% и снизить стоимость вдвое.

Что в ролике

Если вам нужно, чтобы агент собирал цены с сайтов конкурентов и заполнял таблицу, опыт Brainbase Labs показывает, как вывести такой конвейер с 41% до 97% точности. Для Domino’s агент должен был по списку позиций находить цену пиццы в приложениях и на сайтах, учитывать промо и способ получения, а сомнительные места помечать флагом. Команда зафиксировала термины и правила: цену, которую платит покупатель, определение «большой пиццы», математику скидок и запрет угадывать. Бенчмарки строили на прошлых таблицах аналитиков и снапшотах сайтов из веб-архива, а для онлайн-проверок использовали код, LM-as-judge и агента-судью, который проверяет каждый флаг. Первый агент охватывал один город, одно приложение и одну позицию и давал 41% точности, $2 за источник и 129 минут на прогон. Итерации включали простые правки правил, например смотреть всю страницу, а не только якорную секцию, и более сложные изменения в browser use: сначала читать HTML DOM и alt-тексты, а не разглядывать картинки. На версии 11 точность выросла до 97%, цена упала до $1 за источник, время — до 71 минуты, а аналитики просматривают только исключения.

Практика

Что получишь
Повторяемый шестишаговый процесс, который можно применить к своему агенту: от согласования критериев до передачи поддержки заказчику.
Первый шаг
Соберите прошлые результаты ручной работы и превратите их в бенчмарк, чтобы сразу измерять точность первой версии агента.
Цифры
  • —41% — точность первой версии агента
  • —97% — точность после одиннадцати итераций
  • —$2 за источник — стартовая стоимость, $1 — после оптимизации
  • —129 минут — длительность прогона до оптимизации, 71 минута — после
Честно
Докладчик работает в Brainbase Labs и использует их внутреннюю memory-примитив, но явной рекламы курса или платного продукта нет. Код, правила и таблицы показаны на экране — для повторения придётся смотреть запись. Все цифры — заявленные результаты одного проекта, на других данных точность может отличаться.
Если слова незнакомы — 3 терминов

Компоненты

3 шт.

Формат: разбор кейса · для практикующих · уверенность разметки 0.85 · источник