Регрессионное тестирование агентов через трейсы и CI

Что в ролике
Если вы меняете промпт агента и после фикса ломается что-то ещё, этот доклад объясняет, как построить регрессионное тестирование на основе трейсов. Агенты ломаются не на уровне кода, а в рантайме, поэтому трейсы становятся источником правды о реальном поведении. Предлагается пятишаговый процесс: собрать продакшн-трейсы (включая успешные, ошибочные и редкие сценарии) в датасет, создать эвалюаторы (в том числе LLM as judge) для метрик, прогнать базовый эксперимент, тестировать изменения и автоматизировать проверку в CI. В примере добавление одной строки с требованием подтверждать действия дало +17 пунктов к безопасности, но −17 к выполнению задач — суммарный эффект нулевой. Автор показывает, как это делается в платформе Arize: prompt playground для одного агента, agent playground для мультиагентных систем и подключение удалённых агентов. Сквозная идея — замкнуть цикл на агентской скорости: кодинг-агенты через skills получают доступ к трейсам и могут сами предлагать фиксы, а каждая ошибка должна становиться новым тестом.
Практика
- Что получишь
- Поймёте, как превратить продакшн-трейсы в регрессионные тесты и автоматизировать проверку изменений агента до деплоя, чтобы не ломать рабочее при фиксах.
- Первый шаг
- Соберите датасет из реальных продакшн-трейсов вашего агента: включите типичные запросы, известные ошибки, редкие сценарии и успешные кейсы, которые нужно защитить.
- Цифры
- —17 пунктов — на столько выросла метрика action safety после добавления строки с подтверждением действий, при этом task completion упал на 17 пунктов (пример из доклада).
- —100 строк — размер датасета, который докладчица использовала в демо для регрессионного тестирования.
- —18 и 6 пунктов — рост action safety и task completion соответственно для лучшего варианта, найденного в эксперименте.
- Честно
- Докладчица — инженер Arize, и все примеры демонстрируются в интерфейсе этой платформы; для повторения потребуется Arize или аналогичный observability-инструмент. Продакшн-трейсы, датасет и промпты из демо не приложены, их нужно подготовить самостоятельно. В конце упоминается публичный репозиторий Arize с агентскими навыками, но без ссылки.
Если слова незнакомы — 5 терминов
- трейсструктурированный лог выполнения агента, показывающий его действия, вызовы инструментов и траекторию
- эвалюатормеханизм оценки качества ответа агента, часто на основе LLM
- LLM as judgeиспользование языковой модели для автоматической оценки другого ответа по заданным критериям
- промпттекстовая инструкция, которую вы даёте агенту
- CIнепрерывная интеграция — автоматический процесс проверки кода при каждом изменении
Компоненты
3 шт.Формат: пошаговый урок · для практикующих · уверенность разметки 0.8 · источник