Цикл самопочинки агента: от трассировок до PR

Что в ролике
Если ваш агент проходит стейджинг, но в проде начинает ошибаться на невидимых кейсах, Fuad Ali из Arize предлагает замкнуть цикл самокоррекции: трассировки, анализ, фикс и проверка. Для примера он использует shopping-ассистента Wonder Toys на OpenAI Agents SDK и FastAPI с векторным поиском, где баг с фильтром цены выдаёт товары дороже $30 при запросе дешевле $30. Первый инструмент — Signal, фоновый агент на платформе Arize: он читает все прод-трассировки, кластеризует сбои по первопричинам, заглядывает в GitHub-репозиторий и в Datadog, а затем сам открывает PR с расследованием и предлагаемым фиксом. Второй путь — Arize skills для Claude Code, Cursor и других агентов: по требованию они читают трассировки вместе с кодом и находят ошибку, как в случае с неправильным фильтром цены. Для проверки вместо фиксированных LLM-as-judge метрик предлагается harness-as-judge: рубрика из одного предложения читает дерево трассировок и может вызывать внешние системы, например проверять права доступа пользователя. После фикса агент эксперименты гоняют новую версию за эндпоинтом на датасете из 25 реальных упавших запросов и сравнивают результат по тому же судье, заодно показывая латентность и стоимость. Полный автономный цикл умеет сам собрать датасет сбоев, прогнать PR по нему и отчитаться человеку: в одном примере оценка на целевом эвалюаторе выросла на 36%. Итоговая схема — сначала наладить трассировку, затем включить Signal или skills, убедиться через harness-as-judge и замерить улучшение агент-экспериментами.
Практика
- Что получишь
- Поймёте, как собрать замкнутый цикл самокоррекции: от трассировок до автооткрытого PR и проверки на реальных упавших запросах. Узнаете разницу между фоновым Signal и skills по требованию и когда включать harness-as-judge.
- Первый шаг
- Склонируйте репозиторий Wonder Toys, добавьте Arize и OpenAI API-ключи в env-файл и запустите npm install и npm run dev — трассировки начнут сыпаться в Arize.
- Цифры
- —1 триллион спанов — заявленный объём трассировок, обработанных Arize
- —60 миллионов оценок в месяц — их темп прогона эвалюаций
- —25 упавших запросов — размер датасета для проверки фикса в примере
- —36% — на столько выросла оценка на целевом эвалюаторе после автофикса
- Честно
- Это воркшоп самой Arize AI, и значительная часть доклада показывает её платные функции — Signal, Arize skills и agent experiments; в конце спикер даёт промокод на бесплатный год Arize Pro только для участников конференции, так что материал рекламный. Для повторения нужны аккаунты Arize и OpenAI, репозиторий Wonder Toys, а интерфейс Signal, готовые PR и настройки рубрик показаны только на экране, без пошаговых скриншотов. Бесплатный тариф Arize существует, но лимиты Pro по коду — только для офлайн-участников.
Если слова незнакомы — 7 терминов
- трассировкижурнал всех шагов агента: что он получил, какие инструменты вызвал и что вернул
- продрабочее окружение, где приложение используют реальные пользователи
- стейджингтестовое окружение, где изменения проверяются перед продом
- PRпредложение изменений кода, которое проходит ревью перед слиянием
- LLM-as-judgeоценка ответа агента другой моделью по фиксированной рубрике
- harness-as-judgeагентная проверка, которая сама читает трассировки и может обращаться к внешним системам
- эвалюаторметрика или проверка, оценивающая качество ответа агента
Связки из этого ролика
3 шт.- OpenAI Agents SDK + FastAPI + Arise
- Claude Code + Arise Skills
- Signal + GitHub
Компоненты
9 шт.Формат: пошаговый урок · для практикующих · уверенность разметки 0.85 · источник