К содержимому
Дайджест

Агенты, которые чинят себя по трейсам: воркшоп Arize AI

AI Engineer·26 октября 2026·53:05
текст даёт основное можно повторить промо пошагово
Открыть на YouTube
Воркшоп для разработчиков агентов, где на примере маленького магазина показывают, как построить цикл самоисправления агента по трейсам, оценкам и экспериментам.

Что в ролике

Если агенты ломаются ночью, а читать тысячи трейсов вручную невозможно, воркшоп разбирает цикл, в котором агент сам находит и предлагает исправления. Автор — продакт-менеджер Arize — показывает платформу AX и её агента Signal, который по расписанию каждые 6 часов перечитывает трейсы проекта, кластеризует ошибки и открывает PR с правкой в GitHub. Демо-агент Wonder Toys для поиска игрушек содержит специально подложенный баг: названия категорий не нормализуются, поэтому фильтр не срабатывает и поиск повторяется, доводя ответы до 14–17 секунд. Signal находит корень проблемы, подключается к репозиторию и предлагает нормализовать регистр и формат слагов, чтобы фильтр срабатывал. Дальше на основе провалившихся трейсов создаётся датасет-фикстура и эвал, который отлавливает такие же повторные вызовы в будущем, а эксперимент прогоняет исправленную версию на накопленных кейсах и набирает 88,9% прохождения. Человек остаётся на точках с максимальной пользой: подтвердить реальность дефекта, отобрать примеры в датасет, спроектировать оценку и проверить PR перед мержем. В воркшопе упоминаются LLM-судьи, дешёвые decision-модели, маршрутизация низкоуверенных результатов человеку и возможность подключить сторонние навыки вроде DataDog или собственные MCP-инструменты.

Практика

Что получишь
Увидите связку трассировки, датасетов, эвалов и экспериментов и сможете прикинуть, как собрать такой же контур для своего агента, оставив человеку только проверку ключевых решений.
Первый шаг
Завести бесплатный аккаунт Arize AX, получить API-ключ и склонировать репозиторий Wonder Toys, чтобы начать отправлять трейсы.
Цифры
  • —14–17 секунд — до такой задержки доходили ответы демо-агента Wonder Toys из-за повторных поисковых вызовов
  • —6 часов — интервал по умолчанию, с которым Signal перечитывает трейсы проекта
  • —88,9% — доля пройденных проверок в эксперименте с исправленной версией агента
  • —4,6% и 99,5% — в примере со спамом столько результатов с низкой уверенностью ушло людям, а остальные распознаны верно
Честно
Это воркшоп-презентация сотрудника Arize, продвигающая платформу AX: демо, Signal и управляемые агенты работают только внутри неё. Для повторения нужен аккаунт Arize, ключ OpenAI или Anthropic, Node и Python; заявлено, что старт бесплатный, но запуск агентов и эвалов расходует токены LLM-провайдера. Точные команды и состояние интерфейса автор показывает на экране, но в речь не проговаривает.
Если слова незнакомы — 6 терминов

Связки из этого ролика

3 шт.

Компоненты

13 шт.

Формат: пошаговый урок · для практикующих · уверенность разметки 0.8 · источник