К содержимому
Дайджест

Оценка AI-агентов: traces, evals и CI на Phoenix

AI Engineer·17 октября 2026·116:13
нужен экран можно повторить промо пошагово
Открыть на YouTube
Запись практического воркшопа Лори Восса из Arize AI о том, как проверять качество AI-агентов с помощью трассировки, кодовых и LLM-оценок в Phoenix.

Что в ролике

Если вы меняете промпт или модель и не знаете, не сломали ли вы агента, воркшоп даёт рабочий цикл: трассировка, чтение ошибок, написание evals и прогон в CI. Лори Восс из Arize AI строит финансового агента на Claude Agent SDK и TypeScript, который ищет свежие данные по тикеру и пишет отчёт, а затем показывает, как Phoenix собирает трассы каждого шага через OpenTelemetry без ручного логирования. Сначала идут code evals — быстрые проверки, что в отчёте упомянут нужный тикер и нет запрещённых фраз; они нашли два промаха из 15 запусков, включая Amazon и Tesla. Дальше подключаются LLM-судьи: встроенный correctness провалил все 16 отчётов, потому что судья не знал свежих данных, а faithfulness с полным контекстом поиска дал полезные объяснения и пометил 14 из 16 как не соответствующие источникам. Свой кастомный eval проверял actionability — есть ли рекомендация buy, hold или sell; до правок только 5 из 16 отчётов были actionable, и после улучшения промпта все 48 прогонов стали actionable. В конце Восс показывает, как проверить самого судью на golden dataset из человеческих меток, запустить контролируемый эксперимент при смене Haiku 4.5 на Haiku 5.5 и оформить проверки в npm test для CI. Оказалось, что Haiku 5.5 стал стабильнее, но просто говорит hold в 41 из 45 случаев и стоит в четыре раза дороже, поэтому это не однозначный апгрейд.

Практика

Что получишь
Понять, как выстроить оценку AI-агента: от трассировки и code evals до LLM-судьи и проверки в CI, и как сравнивать модели перед заменой без ручного чтения всех ответов.
Первый шаг
Прогнать своего агента через Phoenix и прочитать 10–20 трасс вручную, прежде чем писать первый eval.
Цифры
  • —116% — сумма долей аналитиков в отчёте Tesla, которую агент сложил из двух разных поисков и не заметил ошибки
  • —5 из 16 — сколько отчётов автор счёл actionable до правок промпта
  • —41 из 45 — сколько раз Haiku 5.5 выдал рекомендацию hold в эксперименте
  • —4 раза — во столько выросла стоимость вызовов при переходе на Haiku 5.5
Честно
Воркшоп продвигает Phoenix от Arize AI — автор возглавляет DevRel в этой компании, и все примеры построены вокруг этого инструмента. Phoenix сам опенсорсный, но для повторения нужен Node 22+, Anthropic API-ключ (вызовы Claude для агента и LLM-судьи платные), а конкретный URL репозитория и часть команд показываются на экране, в транскрипте он не назван.
Если слова незнакомы — 7 терминов

Понадобится экран

Часть информации есть только на экране (код в терминале). Открыть на YouTube с 0:58.

Связки из этого ролика

3 шт.

Компоненты

9 шт.

Цитаты-доказательства

дословно из субтитров

Формат: пошаговый урок · для практикующих · уверенность разметки 0.87 · источник