Агенты, которые чинят себя по трейсам: воркшоп Arize AI

Что в ролике
Если агенты ломаются ночью, а читать тысячи трейсов вручную невозможно, воркшоп разбирает цикл, в котором агент сам находит и предлагает исправления. Автор — продакт-менеджер Arize — показывает платформу AX и её агента Signal, который по расписанию каждые 6 часов перечитывает трейсы проекта, кластеризует ошибки и открывает PR с правкой в GitHub. Демо-агент Wonder Toys для поиска игрушек содержит специально подложенный баг: названия категорий не нормализуются, поэтому фильтр не срабатывает и поиск повторяется, доводя ответы до 14–17 секунд. Signal находит корень проблемы, подключается к репозиторию и предлагает нормализовать регистр и формат слагов, чтобы фильтр срабатывал. Дальше на основе провалившихся трейсов создаётся датасет-фикстура и эвал, который отлавливает такие же повторные вызовы в будущем, а эксперимент прогоняет исправленную версию на накопленных кейсах и набирает 88,9% прохождения. Человек остаётся на точках с максимальной пользой: подтвердить реальность дефекта, отобрать примеры в датасет, спроектировать оценку и проверить PR перед мержем. В воркшопе упоминаются LLM-судьи, дешёвые decision-модели, маршрутизация низкоуверенных результатов человеку и возможность подключить сторонние навыки вроде DataDog или собственные MCP-инструменты.
Практика
- Что получишь
- Увидите связку трассировки, датасетов, эвалов и экспериментов и сможете прикинуть, как собрать такой же контур для своего агента, оставив человеку только проверку ключевых решений.
- Первый шаг
- Завести бесплатный аккаунт Arize AX, получить API-ключ и склонировать репозиторий Wonder Toys, чтобы начать отправлять трейсы.
- Цифры
- —14–17 секунд — до такой задержки доходили ответы демо-агента Wonder Toys из-за повторных поисковых вызовов
- —6 часов — интервал по умолчанию, с которым Signal перечитывает трейсы проекта
- —88,9% — доля пройденных проверок в эксперименте с исправленной версией агента
- —4,6% и 99,5% — в примере со спамом столько результатов с низкой уверенностью ушло людям, а остальные распознаны верно
- Честно
- Это воркшоп-презентация сотрудника Arize, продвигающая платформу AX: демо, Signal и управляемые агенты работают только внутри неё. Для повторения нужен аккаунт Arize, ключ OpenAI или Anthropic, Node и Python; заявлено, что старт бесплатный, но запуск агентов и эвалов расходует токены LLM-провайдера. Точные команды и состояние интерфейса автор показывает на экране, но в речь не проговаривает.
Если слова незнакомы — 6 терминов
- трейсподробная запись шагов агента: вызовы модели, инструментов и их результаты
- эвалавтоматическая проверка, которая оценивает ответ или траекторию агента по заранее заданному правилу
- PRзапрос на слияние изменений в репозитории, который можно проверить перед принятием
- LLM-судьяязыковая модель, которая выставляет оценку результатам другой модели
- decision-моделикомпактные модели, которые возвращают выбор, оценку или уверенность вместо развёрнутого текста
- MCPпротокол, через который агент подключается к внешним инструментам и данным
Связки из этого ролика
3 шт.- FastAPI
- Next.js
- ChromaDB
Компоненты
13 шт.Формат: пошаговый урок · для практикующих · уверенность разметки 0.8 · источник