К содержимому
Дайджест

Тесты для агентов без бенчмарков: сначала ответ

AI Engineer·22 октября 2026·19:50
текст даёт основное можно повторить
Открыть на YouTube
Доклад инженера Air Canada о создании собственных тестовых наборов для агентов, когда публичных бенчмарков нет, — для тех, кто строит агентов в корпоративных задачах.

Что в ролике

Если вы строите агентов для задач без открытых бенчмарков, главный тормоз — оценить ответ, когда нет времени экспертов. Автор сначала столкнулся с этим в RAG-помощнике для телеком-инженеров, где было около 10 000 документов: он перевернул задачу и генерировал вопросы от страницы, а затем проверял кодом, нашёл ли агент исходную страницу, что подняло цикл с одной оценки в неделю до десятков в день. В Air Canada тот же принцип применили к разбору договоров поставщиков: агент должен находить проблемные пункты, подбирать обоснование, писать поправку и классифицировать решение. Команда синтетически создавала тесты из готовых контрактов и правил: например, от правила вроде лимита в $1 млн генерировали контракт с нарушением и проверяли, найдёт ли агент этот флаг; всего получилось 275 таких тестов. Самый сильный приём — взять подписанный контракт, удалить пункт и ждать, что агент заметит пропажу, но на практике агенты пропускали большинство удалённых пунктов. Для проверки консистентности меняли имя поставщика, адрес и порядок пунктов, а также использовали шаблоны экспертов с пустыми полями, чтобы один шаблон порождал много контрактов с известными нарушениями. Автор подчёркивает, что они уходили от LLM-судьи: это шумно и почти так же сложно, как сама задача, поэтому все проверки старались делать кодом. Цикл обратной связи с экспертами занимал 4 недели, а прогон сгенерированных тестов — 5 минут, и правки от экспертов шли не в агента, а в улучшение самих тестов.

Практика

Что получишь
Способ собрать тестовый набор для агента, когда публичных бенчмарков нет: генерировать примеры от известного ответа и проверять их кодом, а не вручную.
Первый шаг
Выбрать ключевое правило вашей задачи, создать от него 10–20 синтетических примеров и проверить, находит ли их агент.
Цифры
  • —10 000 документов — примерный объём базы знаний в RAG-проекте для телеком-инженеров
  • —275 — количество сгенерированных тестов для проверки агента по договорам поставщиков Air Canada
  • —4 недели — столько занимал цикл обратной связи с экспертами, при этом прогон тестов занимал 5 минут
  • —90% — по словам автора, если в RAG найден правильный документ, ответ с высокой вероятностью верен
Честно
Автор не продвигает коммерческий продукт: это доклад с конференции, в конце он предлагает связаться для обратной связи. Конкретные промпты, шаблоны и код генерации тестов в пересказе не приведены, поэтому для повторения их придётся проектировать самостоятельно.
Если слова незнакомы — 4 терминов

Связки из этого ролика

1 шт.

Компоненты

3 шт.

Формат: разбор кейса · для практикующих · уверенность разметки 0.85 · источник