Почему 80% надёжности не хватает для доверия

Что в ролике
Обычный путь AI-продукта — нагнать метрики на статичных бенчмарках и отправить в прод, но у клиентов всё ломается, потому что сценарии из тестов не совпадают с реальными задачами. Автор из Amazon AGI Lab, отвечавший за запуск Nova — конструктора браузерных агентов — предлагает замкнуть цикл через eval-flywheel: определить успех глазами клиента, собрать сигналы из метрик и живых разговоров, разложить найденные пробелы на модельные, инженерные и продуктовые, а затем вернуть их в приоритизацию. Ключевой вывод — «обрыв доверия»: при 80% надёжности клиент не считает агента надёжным и продолжает мониторить его вручную, а после 90% готов отдать ему целый workflow. Прозрачность работает сильнее бенчмарков: надо честно говорить, что продукт умеет, что чинят прямо сейчас и что находится за границами возможностей. Из работы с заказчиками Amazon Leo, Hertz и Sol родились неожиданные фичи: кэширование траекторий для снижения стоимости инференса, нетехнический интерфейс для QA-инженеров без Python и гибкая настройка actuation stack для RPA-стартапа. Правила, к которым в итоге пришли: сценарии для eval брать из продакшена, а не из воображения, делить находки на actionable-области, честно показывать ограничения и крутить цикл как можно быстрее, иначе eval-метрики устаревают. Если метрики не становятся умнее каждую неделю, значит они протухли, поэтому цикл нужно повторять постоянно, а не собрать один раз.
Практика
- Что получишь
- Практический фреймворк из четырёх шагов, который помогает связать метрики качества с реальными задачами пользователей и избежать ложного ощущения готовности продукта.
- Первый шаг
- Начать с определения успеха глазами конкретного клиента, а не по внутреннему чек-листу бенчмарков.
- Цифры
- —80% — надёжность, при которой клиент всё ещё не доверяет агенту и продолжает контролировать его вручную
- —90% — порог, после которого клиент готов передать агенту целый workflow
- —3 категории пробелов — модельные, инженерные и продуктовые — на которые раскладываются сигналы от клиентов
- Честно
- Автор — сотрудник Amazon AGI Lab, и доклад одновременно делится опытом запуска Nova и продвигает этот продукт. Пошаговой инструкции по внедрению нет: это фреймворк, а не готовый туториал. Упоминаемые метрики и примеры взяты из работы с заказчиками Amazon, поэтому повторить их у себя можно только частично.
Если слова незнакомы — 7 терминов
- браузерный агентпрограмма, которая сама выполняет действия в браузере вместо человека
- eval-flywheelповторяющийся цикл сбора сигналов клиентов и обновления сценариев оценки
- статичные eval-метрикинабор тестов, который не обновляется под реальные задачи пользователей
- инференсвыполнение модели для получения ответа, в отличие от обучения
- QA-инженерспециалист по тестированию качества
- RPAавтоматизация повторяющихся процессов
- actuation stackчасть агента, отвечающая за выполнение действий в интерфейсе
Компоненты
2 шт.Формат: мнение · для практикующих · уверенность разметки 0.9 · источник