К содержимому
Дайджест

Цикл самопочинки агента: от трассировок до PR

AI Engineer·11 октября 2026·38:55
текст даёт основное можно повторить промо пошагово
Открыть на YouTube
Мастер-класс для AI-инженеров о том, как построить замкнутый цикл, в котором агент сам находит ошибки по трассировкам, пишет фиксы и проверяет их перед деплоем.

Что в ролике

Если ваш агент проходит стейджинг, но в проде начинает ошибаться на невидимых кейсах, Fuad Ali из Arize предлагает замкнуть цикл самокоррекции: трассировки, анализ, фикс и проверка. Для примера он использует shopping-ассистента Wonder Toys на OpenAI Agents SDK и FastAPI с векторным поиском, где баг с фильтром цены выдаёт товары дороже $30 при запросе дешевле $30. Первый инструмент — Signal, фоновый агент на платформе Arize: он читает все прод-трассировки, кластеризует сбои по первопричинам, заглядывает в GitHub-репозиторий и в Datadog, а затем сам открывает PR с расследованием и предлагаемым фиксом. Второй путь — Arize skills для Claude Code, Cursor и других агентов: по требованию они читают трассировки вместе с кодом и находят ошибку, как в случае с неправильным фильтром цены. Для проверки вместо фиксированных LLM-as-judge метрик предлагается harness-as-judge: рубрика из одного предложения читает дерево трассировок и может вызывать внешние системы, например проверять права доступа пользователя. После фикса агент эксперименты гоняют новую версию за эндпоинтом на датасете из 25 реальных упавших запросов и сравнивают результат по тому же судье, заодно показывая латентность и стоимость. Полный автономный цикл умеет сам собрать датасет сбоев, прогнать PR по нему и отчитаться человеку: в одном примере оценка на целевом эвалюаторе выросла на 36%. Итоговая схема — сначала наладить трассировку, затем включить Signal или skills, убедиться через harness-as-judge и замерить улучшение агент-экспериментами.

Практика

Что получишь
Поймёте, как собрать замкнутый цикл самокоррекции: от трассировок до автооткрытого PR и проверки на реальных упавших запросах. Узнаете разницу между фоновым Signal и skills по требованию и когда включать harness-as-judge.
Первый шаг
Склонируйте репозиторий Wonder Toys, добавьте Arize и OpenAI API-ключи в env-файл и запустите npm install и npm run dev — трассировки начнут сыпаться в Arize.
Цифры
  • —1 триллион спанов — заявленный объём трассировок, обработанных Arize
  • —60 миллионов оценок в месяц — их темп прогона эвалюаций
  • —25 упавших запросов — размер датасета для проверки фикса в примере
  • —36% — на столько выросла оценка на целевом эвалюаторе после автофикса
Честно
Это воркшоп самой Arize AI, и значительная часть доклада показывает её платные функции — Signal, Arize skills и agent experiments; в конце спикер даёт промокод на бесплатный год Arize Pro только для участников конференции, так что материал рекламный. Для повторения нужны аккаунты Arize и OpenAI, репозиторий Wonder Toys, а интерфейс Signal, готовые PR и настройки рубрик показаны только на экране, без пошаговых скриншотов. Бесплатный тариф Arize существует, но лимиты Pro по коду — только для офлайн-участников.
Если слова незнакомы — 7 терминов

Связки из этого ролика

3 шт.

Компоненты

9 шт.

Формат: пошаговый урок · для практикующих · уверенность разметки 0.85 · источник