К содержимому
Дайджест

Регрессионное тестирование агентов через трейсы и CI

AI Engineer·24 октября 2026·19:25
текст даёт основное можно повторить промо пошагово
Открыть на YouTube
Практический доклад для инженеров, которые строят и отлаживают агентные системы: как организовать регрессионное тестирование агентов через трейсы и автоматизировать его.

Что в ролике

Если вы меняете промпт агента и после фикса ломается что-то ещё, этот доклад объясняет, как построить регрессионное тестирование на основе трейсов. Агенты ломаются не на уровне кода, а в рантайме, поэтому трейсы становятся источником правды о реальном поведении. Предлагается пятишаговый процесс: собрать продакшн-трейсы (включая успешные, ошибочные и редкие сценарии) в датасет, создать эвалюаторы (в том числе LLM as judge) для метрик, прогнать базовый эксперимент, тестировать изменения и автоматизировать проверку в CI. В примере добавление одной строки с требованием подтверждать действия дало +17 пунктов к безопасности, но −17 к выполнению задач — суммарный эффект нулевой. Автор показывает, как это делается в платформе Arize: prompt playground для одного агента, agent playground для мультиагентных систем и подключение удалённых агентов. Сквозная идея — замкнуть цикл на агентской скорости: кодинг-агенты через skills получают доступ к трейсам и могут сами предлагать фиксы, а каждая ошибка должна становиться новым тестом.

Практика

Что получишь
Поймёте, как превратить продакшн-трейсы в регрессионные тесты и автоматизировать проверку изменений агента до деплоя, чтобы не ломать рабочее при фиксах.
Первый шаг
Соберите датасет из реальных продакшн-трейсов вашего агента: включите типичные запросы, известные ошибки, редкие сценарии и успешные кейсы, которые нужно защитить.
Цифры
  • —17 пунктов — на столько выросла метрика action safety после добавления строки с подтверждением действий, при этом task completion упал на 17 пунктов (пример из доклада).
  • —100 строк — размер датасета, который докладчица использовала в демо для регрессионного тестирования.
  • —18 и 6 пунктов — рост action safety и task completion соответственно для лучшего варианта, найденного в эксперименте.
Честно
Докладчица — инженер Arize, и все примеры демонстрируются в интерфейсе этой платформы; для повторения потребуется Arize или аналогичный observability-инструмент. Продакшн-трейсы, датасет и промпты из демо не приложены, их нужно подготовить самостоятельно. В конце упоминается публичный репозиторий Arize с агентскими навыками, но без ссылки.
Если слова незнакомы — 5 терминов

Компоненты

3 шт.

Формат: пошаговый урок · для практикующих · уверенность разметки 0.8 · источник