Навыки для отладки агентов: Arize и Claude Code

Что в ролике
Когда агент в проде ведёт себя по наитию, ловить поломки можно только по трейсам — они показывают каждый вызов LLM, тула и документа. Докладчик показывает связку Arize CLI и навыков с Claude Code: агент сам выгружает трейсы, смотрит оценки и комментарии людей, анализирует кодовую базу и предлагает, где именно агент ошибается. На демо финансового агента, который советует инвестировать, Claude нашёл 44% плохих саммари, фабрикацию ответов и молчаливые сбои тулов. Затем он строит оценку успешности тула и проверку числовой обоснованности, прогоняет их на датасете и запускает эксперимент. В отдельном кейсе с акциями Южной Кореи первая версия дала 0% прохода, вторая нормализация не помогла из-за устаревшего тула, третья версия вышла на 90%. Спикер объясняет, что оценки нужны не вместо хороших промптов и навыков, а для мониторинга регрессий и деградации. Весь автоматический цикл от поиска проблемы до готовой оценки занял около 14 минут.
Практика
- Что получишь
- Схему, как собрать контур observability→eval→fix в своём кодинг-агенте, чтобы находить поломки агента не вручную, а по трейсам и оценкам.
- Первый шаг
- Поднять Arize CLI, создать профиль для подключения к трейсам и добавить навык Arize в Claude Code или другой кодинг-агент.
- Цифры
- —44% — доля взаимодействий агента с плохим саммари из анализа Claude
- —0% — процент прохождения тестов у базовой версии агента для акций Южной Кореи
- —90% — процент успешных прохождений после третьей итерации с обновлённым тулом
- —14 минут — столько занял полный автоматический цикл анализа и подготовки фиксов
- Честно
- Докладчик — сотрудник Arize AI, поэтому демо построено на продуктах Arize; навыки и MCP есть и в открытом Phoenix, но онлайн-оценки и удобные дашборды — только в enterprise-версии. Точные команды CLI, промпты оценщиков и настройки профиля видны только на экране. В демо он включает dangerously skip permissions — так делать в рабочем окружении нельзя.
Если слова незнакомы — 5 терминов
- трейсызаписи всех шагов агента: вызовы LLM, тулов, документов
- оценки (evals)проверки качества ответов агента по заданным критериям
- навыки (skills)инструкции или инструменты, которые расширяют возможности кодинг-агента
- LLM как судьяоценка ответа агента с помощью языковой модели по промпту
- MCPпротокол для подключения внешних сервисов и данных к ассистенту
Понадобится экран
Часть информации есть только на экране (код в терминале). Открыть на YouTube с 11:30.
Компоненты
7 шт.Цитаты-доказательства
дословно из субтитров- we're going to start by setting up the CLI. You would just go ahead and copy this one line of code to get that set up.11:30
- Then what you do is you would create your actual profile, which would help you connect it to wherever your data stored. In this case, it would be arise.11:43
- For today, we're using Cloud Code, so I use the marketplace to set it up12:07
Формат: пошаговый урок · для практикующих · уверенность разметки 0.8 · источник