К содержимому
Дайджест

Навыки для отладки агентов: Arize и Claude Code

AI Engineer·11 октября 2026·36:04
нужен экран можно повторить промо пошагово
Открыть на YouTube
Запись доклада с AI Engineer о том, как подключить данные Arize к кодинг-агенту и автоматически находить и чинить ошибки в AI-агентах.

Что в ролике

Когда агент в проде ведёт себя по наитию, ловить поломки можно только по трейсам — они показывают каждый вызов LLM, тула и документа. Докладчик показывает связку Arize CLI и навыков с Claude Code: агент сам выгружает трейсы, смотрит оценки и комментарии людей, анализирует кодовую базу и предлагает, где именно агент ошибается. На демо финансового агента, который советует инвестировать, Claude нашёл 44% плохих саммари, фабрикацию ответов и молчаливые сбои тулов. Затем он строит оценку успешности тула и проверку числовой обоснованности, прогоняет их на датасете и запускает эксперимент. В отдельном кейсе с акциями Южной Кореи первая версия дала 0% прохода, вторая нормализация не помогла из-за устаревшего тула, третья версия вышла на 90%. Спикер объясняет, что оценки нужны не вместо хороших промптов и навыков, а для мониторинга регрессий и деградации. Весь автоматический цикл от поиска проблемы до готовой оценки занял около 14 минут.

Практика

Что получишь
Схему, как собрать контур observability→eval→fix в своём кодинг-агенте, чтобы находить поломки агента не вручную, а по трейсам и оценкам.
Первый шаг
Поднять Arize CLI, создать профиль для подключения к трейсам и добавить навык Arize в Claude Code или другой кодинг-агент.
Цифры
  • —44% — доля взаимодействий агента с плохим саммари из анализа Claude
  • —0% — процент прохождения тестов у базовой версии агента для акций Южной Кореи
  • —90% — процент успешных прохождений после третьей итерации с обновлённым тулом
  • —14 минут — столько занял полный автоматический цикл анализа и подготовки фиксов
Честно
Докладчик — сотрудник Arize AI, поэтому демо построено на продуктах Arize; навыки и MCP есть и в открытом Phoenix, но онлайн-оценки и удобные дашборды — только в enterprise-версии. Точные команды CLI, промпты оценщиков и настройки профиля видны только на экране. В демо он включает dangerously skip permissions — так делать в рабочем окружении нельзя.
Если слова незнакомы — 5 терминов

Понадобится экран

Часть информации есть только на экране (код в терминале). Открыть на YouTube с 11:30.

Компоненты

7 шт.

Цитаты-доказательства

дословно из субтитров

Формат: пошаговый урок · для практикующих · уверенность разметки 0.8 · источник