Как агенты сами читают трейсы и чинят AI-приложения

Что в ролике
Если вы запускаете AI-агентов в продакшен, одинаковый запрос может дать разный результат, и код больше не объясняет поведение. Лори Восс из Arize AI объясняет, что трассировка через OpenTelemetry и оценки (evals) дают видимость и сжимают тысячи трейсов в понятные сигналы. На демо он берёт агентский магазин Wonder Toys на OpenAI Agents SDK, добавляет observability в Arize AX с помощью Claude Code и установленных скиллов без единой строки кода вручную. Агент находит в трейсах проблему: 42% поисков возвращают ноль результатов, а фильтрации по цене нет. Затем агент добавляет фильтр цен, скопировав решение из соседней папки с готовым примером, и приложение начинает показывать игрушки дешевле $9. Продукт Signal, запущенный внутри Arize AX, каждые шесть часов читает все трейсы, группирует сбои и предлагает исправления в виде GitHub issue или pull request. Среди найденных Signal проблем — галлюцинированное возрастное ограничение, ответы на запросы о бомбах и советы «взять таймаут» вместо продажи игрушек. Для защиты Лори просит встроенного ассистента Alex создать оценку, которая запрещает инструкции по бомбам.
Практика
- Что получишь
- Поймёте, как перейти от ручного чтения трейсов к автоматическому поиску проблем и их исправлению с помощью агентов. Сможете повторить подход на своём приложении: добавить observability, найти проблему и предложить агенту её починить.
- Первый шаг
- Заведите бесплатный аккаунт Arize AX, получите API-ключи, склонируйте репозиторий с Wonder Toys из воркшопа и установите скиллы агента, затем попросите кодинг-агента добавить observability.
- Цифры
- —42% поисковых запросов вернули ноль результатов — такую проблему нашёл агент в трейсах Wonder Toys.
- —Каждые 6 часов Signal автоматически читает все трейсы и ищет сбои по умолчанию.
- —1 миллисекунда — подозрительно быстрое время ответа инструмента поиска, на которое обратил внимание агент.
- —Порт 3000, на котором локально запускается магазин Wonder Toys.
- Честно
- Это воркшоп сотрудника Arize AI, и он прямо продвигает платформу Arize AX, продукт Signal и встроенного ассистента Alex; для повторения нужны бесплатный аккаунт Arize и ключ OpenAI API. В демо кодинг-агент нашёл готовое решение в соседней папке и скопировал его, а не написал с нуля, поэтому результат выглядит проще, чем есть. Часть действий — команды Claude Code, интерфейс трейсов и создание оценок — видна только на экране, и без видео повторить сложно.
Если слова незнакомы — 6 терминов
- трейсызаписи каждого шага AI-приложения: вызовы модели, инструментов, ответы и метаданные
- evalsоценки качества ответов агентом или кодом по заданным критериям
- observabilityвозможность видеть, что делает приложение внутри, по логам и трейсам
- OpenTelemetryоткрытый стандарт сбора данных о работе программ, поддерживаемый разными платформами
- pull requestпредложение изменений в коде на GitHub, которое можно одобрить или отклонить
- скиллы агентанабор инструкций, расширяющих возможности кодинг-агента для работы с конкретными инструментами
Связки из этого ролика
4 шт.- OpenAI Agents SDK
- OpenTelemetry
- Arize AX
- Node.js
Компоненты
9 шт.Формат: пошаговый урок · для практикующих · уверенность разметки 0.8 · источник