К содержимому
Дайджест

Как агенты сами читают трейсы и чинят AI-приложения

AI Engineer·5 октября 2026·42:17
текст даёт основное можно повторить промо пошагово
Открыть на YouTube
Практический воркшоп Лори Восса из Arize AI о том, как добавить observability, найти проблемы в AI-агенте и автоматизировать исправления.

Что в ролике

Если вы запускаете AI-агентов в продакшен, одинаковый запрос может дать разный результат, и код больше не объясняет поведение. Лори Восс из Arize AI объясняет, что трассировка через OpenTelemetry и оценки (evals) дают видимость и сжимают тысячи трейсов в понятные сигналы. На демо он берёт агентский магазин Wonder Toys на OpenAI Agents SDK, добавляет observability в Arize AX с помощью Claude Code и установленных скиллов без единой строки кода вручную. Агент находит в трейсах проблему: 42% поисков возвращают ноль результатов, а фильтрации по цене нет. Затем агент добавляет фильтр цен, скопировав решение из соседней папки с готовым примером, и приложение начинает показывать игрушки дешевле $9. Продукт Signal, запущенный внутри Arize AX, каждые шесть часов читает все трейсы, группирует сбои и предлагает исправления в виде GitHub issue или pull request. Среди найденных Signal проблем — галлюцинированное возрастное ограничение, ответы на запросы о бомбах и советы «взять таймаут» вместо продажи игрушек. Для защиты Лори просит встроенного ассистента Alex создать оценку, которая запрещает инструкции по бомбам.

Практика

Что получишь
Поймёте, как перейти от ручного чтения трейсов к автоматическому поиску проблем и их исправлению с помощью агентов. Сможете повторить подход на своём приложении: добавить observability, найти проблему и предложить агенту её починить.
Первый шаг
Заведите бесплатный аккаунт Arize AX, получите API-ключи, склонируйте репозиторий с Wonder Toys из воркшопа и установите скиллы агента, затем попросите кодинг-агента добавить observability.
Цифры
  • —42% поисковых запросов вернули ноль результатов — такую проблему нашёл агент в трейсах Wonder Toys.
  • —Каждые 6 часов Signal автоматически читает все трейсы и ищет сбои по умолчанию.
  • —1 миллисекунда — подозрительно быстрое время ответа инструмента поиска, на которое обратил внимание агент.
  • —Порт 3000, на котором локально запускается магазин Wonder Toys.
Честно
Это воркшоп сотрудника Arize AI, и он прямо продвигает платформу Arize AX, продукт Signal и встроенного ассистента Alex; для повторения нужны бесплатный аккаунт Arize и ключ OpenAI API. В демо кодинг-агент нашёл готовое решение в соседней папке и скопировал его, а не написал с нуля, поэтому результат выглядит проще, чем есть. Часть действий — команды Claude Code, интерфейс трейсов и создание оценок — видна только на экране, и без видео повторить сложно.
Если слова незнакомы — 6 терминов

Связки из этого ролика

4 шт.

Компоненты

9 шт.

Формат: пошаговый урок · для практикующих · уверенность разметки 0.8 · источник