К содержимому
Дайджест

Оценка AI-агентов: от трассировки до продакшена

AI Engineer·5 октября 2026·111:27
нужен экран можно повторить промо пошагово
Открыть на YouTube
Практический воркшоп для разработчиков, которые уже строят агентов и хотят перейти от проверки «на глаз» к системным оценкам качества.

Что в ролике

Разработчик, который уже собрал агента, обычно проверяет его на трёх запросах и считает, что всё работает; воркшоп показывает, как заменить этот подход на измеримый цикл. Автор начинает с трассировки: две строки кода подключают Arize AX через OpenTelemetry и Claude Agent SDK, после чего каждый вызов модели и инструмента виден как отдельный span. На примере финансового аналитика по тикерам Tesla, Apple и другим запускают 12 запросов и читают трассы до написания тестов. Затем строят три типа оценок: детерминированную проверку упоминания тикера, встроенные LLM-судьи correctness и faithfulness, а также собственную рубрику actionability с критериями вроде конкретных рекомендаций. Оценка судьи проверяется на человеческих разметках — в примере согласие всего 46%, и разногласия показывают, как уточнять критерии. В финале провальные трассы собирают в датасет, Claude Code по объяснениям судьи переписывает промпты, эксперимент подтверждает улучшение с 50% ошибок до 100% успеха. Для продакшена те же оценки запускаются онлайн на выборке трафика, а каждый пойманный сбой становится новым регрессионным тестом.

Практика

Что получишь
Умеете ставить оценки агентам с нуля: подключать трассировку, писать детерминированные и LLM-проверки, проверять судью на человеческих разметках и запускать эксперименты для сравнения промптов.
Первый шаг
Подключите Arize AX к своему агенту двумя строками кода и прочитайте 10–15 трасс, чтобы увидеть реальные ошибки до написания тестов.
Цифры
  • —2 строки кода — столько нужно для подключения трассировки агента к Arize AX
  • —12 тестовых запросов — на таком наборе воркшоп показывает ошибки финансового аналитика
  • —46% — согласие LLM-судьи с человеческой разметкой в демонстрации, что подчёркивает нужность мета-оценки
  • —от 200 до 400 примеров — рекомендуемый размер датасета для принятия решений о запуске в продакшен
Честно
Автор — представитель Arize AI, и весь воркшоп построен на их платном сервисе AX: для повторения нужен аккаунт Arize (есть бесплатный trial) и ключ Anthropic API. В конце даётся код на бесплатный год Arize Pro. Конкретные код и рубрики находятся в Colab-ноутбуке, который надо скопировать; в пересказе приведены только основные шаги, а некоторые настройки видны на экране.
Если слова незнакомы — 6 терминов

Понадобится экран

Часть информации есть только на экране (проход по интерфейсу). Открыть на YouTube с 26:19.

Связки из этого ролика

3 шт.

Компоненты

10 шт.

Цитаты-доказательства

дословно из субтитров

Формат: пошаговый урок · для практикующих · уверенность разметки 0.85 · источник