Оценка AI-агентов: traces, evals и CI на Phoenix

Что в ролике
Если вы меняете промпт или модель и не знаете, не сломали ли вы агента, воркшоп даёт рабочий цикл: трассировка, чтение ошибок, написание evals и прогон в CI. Лори Восс из Arize AI строит финансового агента на Claude Agent SDK и TypeScript, который ищет свежие данные по тикеру и пишет отчёт, а затем показывает, как Phoenix собирает трассы каждого шага через OpenTelemetry без ручного логирования. Сначала идут code evals — быстрые проверки, что в отчёте упомянут нужный тикер и нет запрещённых фраз; они нашли два промаха из 15 запусков, включая Amazon и Tesla. Дальше подключаются LLM-судьи: встроенный correctness провалил все 16 отчётов, потому что судья не знал свежих данных, а faithfulness с полным контекстом поиска дал полезные объяснения и пометил 14 из 16 как не соответствующие источникам. Свой кастомный eval проверял actionability — есть ли рекомендация buy, hold или sell; до правок только 5 из 16 отчётов были actionable, и после улучшения промпта все 48 прогонов стали actionable. В конце Восс показывает, как проверить самого судью на golden dataset из человеческих меток, запустить контролируемый эксперимент при смене Haiku 4.5 на Haiku 5.5 и оформить проверки в npm test для CI. Оказалось, что Haiku 5.5 стал стабильнее, но просто говорит hold в 41 из 45 случаев и стоит в четыре раза дороже, поэтому это не однозначный апгрейд.
Практика
- Что получишь
- Понять, как выстроить оценку AI-агента: от трассировки и code evals до LLM-судьи и проверки в CI, и как сравнивать модели перед заменой без ручного чтения всех ответов.
- Первый шаг
- Прогнать своего агента через Phoenix и прочитать 10–20 трасс вручную, прежде чем писать первый eval.
- Цифры
- —116% — сумма долей аналитиков в отчёте Tesla, которую агент сложил из двух разных поисков и не заметил ошибки
- —5 из 16 — сколько отчётов автор счёл actionable до правок промпта
- —41 из 45 — сколько раз Haiku 5.5 выдал рекомендацию hold в эксперименте
- —4 раза — во столько выросла стоимость вызовов при переходе на Haiku 5.5
- Честно
- Воркшоп продвигает Phoenix от Arize AI — автор возглавляет DevRel в этой компании, и все примеры построены вокруг этого инструмента. Phoenix сам опенсорсный, но для повторения нужен Node 22+, Anthropic API-ключ (вызовы Claude для агента и LLM-судьи платные), а конкретный URL репозитория и часть команд показываются на экране, в транскрипте он не назван.
Если слова незнакомы — 7 терминов
- evalпроверка качества ответов агента, как тесты для недетерминированных выходов
- traceзапись всех шагов агента с входами и выходами
- spanодин шаг внутри трассы, например вызов инструмента
- LLM-судьявторая языковая модель, которая ставит оценку по описанным правилам
- OpenTelemetryстандарт сбора телеметрии, к которому подключаются фреймворки
- golden datasetнабор примеров с правильными ответами от человека для проверки оценщиков
- CIавтоматический прогон тестов при изменениях кода
Понадобится экран
Часть информации есть только на экране (код в терминале). Открыть на YouTube с 0:58.
Связки из этого ролика
3 шт.- TypeScript + Phoenix
- Claude Agent SDK + Phoenix
- Vercel AI SDK + Phoenix
Компоненты
9 шт.Цитаты-доказательства
дословно из субтитровФормат: пошаговый урок · для практикующих · уверенность разметки 0.87 · источник