К содержимому
Дайджест

Почему агенты с точностью 99% падают в проде

AI Engineer·2 октября 2026·16:49
текст даёт основное понять, как устроено
Открыть на YouTube
Доклад инженера Browserbase о том, как довести браузерных агентов от демо до надёжной работы в продакшене, для разработчиков автоматизаций.

Что в ролике

Разработчикам, которые хотят запускать браузерных агентов в проде, Дерек Миган из Browserbase объясняет разницу между демо и продакшеном. Он разбирает, как агент взаимодействует с браузером: модель получает состояние страницы, историю шагов и цель, а затем выбирает следующее действие из распределения вероятностей. На практике браузер подключают через текстовое представление HTML и accessibility tree, через скриншоты или через динамическую среду, где агент пишет произвольный код. Главная проблема таких агентов в том, что затраты накапливаются на каждом шаге, а ценность появляется только после завершения всей задачи, частичного зачёта нет. Например, при точности 99% на каждом шаге траектория из 100 шагов завершается успешно только в 36% случаев. Чтобы повысить надёжность, автор советует измерять успех не за один прогон, а за транзакцию с разрешёнными повторами, и строить систему вокруг трёх рычагов: производительность, стоимость и сопровождаемость. На примере агента для скачивания объяснения льгот из медицинского портала он показывает, как вынести аутентификацию, детерминированное скачивание и проверку OCR в отдельные инструменты, а модели оставить только навигацию по критическому пути с помощью skill-инструкции.

Практика

Что получишь
Поймёте, почему точность 99% на шаге не гарантирует успех всей задачи, и увидите архитектуру агента, где модель выполняет только неоднозначную часть, а всё остальное вынесено в детерминированные инструменты.
Первый шаг
Для своей задачи найдите главный артефакт успеха (письмо, ID заказа, запись в системе) и разрешите агенту несколько повторов до проверки результата, а не оценивайте один прогон.
Цифры
  • —99% — точность агента на каждом отдельном шаге в мысленном эксперименте
  • —100 шагов — длина траектории, после которой общий успех падает до 36%
  • —94% — успех транзакции при 50% успехе одного прогона и до четырёх повторов
Честно
Автор — инженер Browserbase, платформы для запуска браузеров в облаке, поэтому примеры заточены под экосистему подобных сервисов, но прямой рекламы продукта в докладе нет. Готового кода, конкретных промптов и настроек не показывают — только общая схема, так что внедрять придётся по своему стеку. Упомянутые инструменты (OCR-проверка, serverless-аутентификация, skill-инструкции) описаны словами, их реализация остаётся за кадром.
Если слова незнакомы — 5 терминов

Компоненты

2 шт.

Формат: разбор · для практикующих · уверенность разметки 0.85 · источник