К содержимому
Дайджест

Почему 80% надёжности не хватает для доверия

AI Engineer·9 октября 2026·17:45
можно прочитать мнение
Открыть на YouTube
Доклад сотрудника Amazon AGI Lab о том, как строить eval-процессы для AI-продуктов на основе реальных сигналов клиентов, а не статичных бенчмарков.

Что в ролике

Обычный путь AI-продукта — нагнать метрики на статичных бенчмарках и отправить в прод, но у клиентов всё ломается, потому что сценарии из тестов не совпадают с реальными задачами. Автор из Amazon AGI Lab, отвечавший за запуск Nova — конструктора браузерных агентов — предлагает замкнуть цикл через eval-flywheel: определить успех глазами клиента, собрать сигналы из метрик и живых разговоров, разложить найденные пробелы на модельные, инженерные и продуктовые, а затем вернуть их в приоритизацию. Ключевой вывод — «обрыв доверия»: при 80% надёжности клиент не считает агента надёжным и продолжает мониторить его вручную, а после 90% готов отдать ему целый workflow. Прозрачность работает сильнее бенчмарков: надо честно говорить, что продукт умеет, что чинят прямо сейчас и что находится за границами возможностей. Из работы с заказчиками Amazon Leo, Hertz и Sol родились неожиданные фичи: кэширование траекторий для снижения стоимости инференса, нетехнический интерфейс для QA-инженеров без Python и гибкая настройка actuation stack для RPA-стартапа. Правила, к которым в итоге пришли: сценарии для eval брать из продакшена, а не из воображения, делить находки на actionable-области, честно показывать ограничения и крутить цикл как можно быстрее, иначе eval-метрики устаревают. Если метрики не становятся умнее каждую неделю, значит они протухли, поэтому цикл нужно повторять постоянно, а не собрать один раз.

Практика

Что получишь
Практический фреймворк из четырёх шагов, который помогает связать метрики качества с реальными задачами пользователей и избежать ложного ощущения готовности продукта.
Первый шаг
Начать с определения успеха глазами конкретного клиента, а не по внутреннему чек-листу бенчмарков.
Цифры
  • —80% — надёжность, при которой клиент всё ещё не доверяет агенту и продолжает контролировать его вручную
  • —90% — порог, после которого клиент готов передать агенту целый workflow
  • —3 категории пробелов — модельные, инженерные и продуктовые — на которые раскладываются сигналы от клиентов
Честно
Автор — сотрудник Amazon AGI Lab, и доклад одновременно делится опытом запуска Nova и продвигает этот продукт. Пошаговой инструкции по внедрению нет: это фреймворк, а не готовый туториал. Упоминаемые метрики и примеры взяты из работы с заказчиками Amazon, поэтому повторить их у себя можно только частично.
Если слова незнакомы — 7 терминов

Компоненты

2 шт.

Формат: мнение · для практикующих · уверенность разметки 0.9 · источник