Оценка AI-агентов: от трассировки до продакшена

Что в ролике
Разработчик, который уже собрал агента, обычно проверяет его на трёх запросах и считает, что всё работает; воркшоп показывает, как заменить этот подход на измеримый цикл. Автор начинает с трассировки: две строки кода подключают Arize AX через OpenTelemetry и Claude Agent SDK, после чего каждый вызов модели и инструмента виден как отдельный span. На примере финансового аналитика по тикерам Tesla, Apple и другим запускают 12 запросов и читают трассы до написания тестов. Затем строят три типа оценок: детерминированную проверку упоминания тикера, встроенные LLM-судьи correctness и faithfulness, а также собственную рубрику actionability с критериями вроде конкретных рекомендаций. Оценка судьи проверяется на человеческих разметках — в примере согласие всего 46%, и разногласия показывают, как уточнять критерии. В финале провальные трассы собирают в датасет, Claude Code по объяснениям судьи переписывает промпты, эксперимент подтверждает улучшение с 50% ошибок до 100% успеха. Для продакшена те же оценки запускаются онлайн на выборке трафика, а каждый пойманный сбой становится новым регрессионным тестом.
Практика
- Что получишь
- Умеете ставить оценки агентам с нуля: подключать трассировку, писать детерминированные и LLM-проверки, проверять судью на человеческих разметках и запускать эксперименты для сравнения промптов.
- Первый шаг
- Подключите Arize AX к своему агенту двумя строками кода и прочитайте 10–15 трасс, чтобы увидеть реальные ошибки до написания тестов.
- Цифры
- —2 строки кода — столько нужно для подключения трассировки агента к Arize AX
- —12 тестовых запросов — на таком наборе воркшоп показывает ошибки финансового аналитика
- —46% — согласие LLM-судьи с человеческой разметкой в демонстрации, что подчёркивает нужность мета-оценки
- —от 200 до 400 примеров — рекомендуемый размер датасета для принятия решений о запуске в продакшен
- Честно
- Автор — представитель Arize AI, и весь воркшоп построен на их платном сервисе AX: для повторения нужен аккаунт Arize (есть бесплатный trial) и ключ Anthropic API. В конце даётся код на бесплатный год Arize Pro. Конкретные код и рубрики находятся в Colab-ноутбуке, который надо скопировать; в пересказе приведены только основные шаги, а некоторые настройки видны на экране.
Если слова незнакомы — 6 терминов
- трассировказапись всех шагов агента с входами и выходами
- spanодин шаг выполнения, например вызов модели или инструмента, внутри трассы
- LLM-судьявторая языковая модель, которая оценивает ответ первой по заданным правилам
- рубриканабор критериев, по которым судья решает, хорош ли ответ
- faithfulnessоценка того, насколько ответ опирается на исходные данные и не выдумывает
- датасетнабор примеров с известным качеством для тестирования
Понадобится экран
Часть информации есть только на экране (проход по интерфейсу). Открыть на YouTube с 26:19.
Связки из этого ролика
3 шт.- Claude Agent SDK + Arise AX
- Anthropic + Arise AX
- Arise AX + OpenTelemetry
Компоненты
10 шт.Цитаты-доказательства
дословно из субтитров- in this case we're also passing batch equals false because uh when you run in a notebook uh you want to send your telemetry as soon as it happens and not batch stuff up which it does for efficiency in production.26:19
- I'm using uh Claude Haiku uh as the agent underneath because Haiku is you know capable but it will make mistakes and we want some mistakes so that we can fix them.30:02
- In this case, uh I've chosen uh the anthropic LLM. uh sonnet 4.6 because it is better than haiku which is the thing that is doing the work.60:06
- So, eval.actionability.label equals not actionable. that finds you the failing set.77:02
Формат: пошаговый урок · для практикующих · уверенность разметки 0.85 · источник