К содержимому
Дайджест

Evals как fuzzy unit-тесты: надёжность до запуска

AI Engineer·5 октября 2026·59:49
нужен экран можно повторить промо пошагово
Открыть на YouTube
Практический разбор того, как строить eval-наборы для AI-агентов, с живым кодом и примерами из продакшена.

Что в ролике

Обычные юнит-тесты не подходят для недетерминированных AI-систем, поэтому для проверки поведения агентов нужны eval — «fuzzy unit-тесты» с вердиктами вместо точных сравнений. Спикер противопоставляет eval и harness: harness даёт надёжность «точно в момент» при выполнении запроса, а eval — «заранее», ещё до выката, и вместе они работают как два колеса велосипеда. В любом качественном eval-наборе есть тестовые сценарии, ожидаемое поведение, судья и агрегация результатов, а среди техник выделяют точное совпадение, валидацию схемы, попарное и поточечное сравнение и LLM-судью. Автор разбирает, как LLM-судья может врать из-за позиционного смещения, лести, самореференции и любви к длинным ответам, поэтому для надёжности судья должен соглашаться с человеком на 80–85 процентов, а 100 процентов — признак переобучения. На живом примере с возвратом наушников он показывает, как дешёвая GPT-3,5 Turbo ошибается и выбирает свой же ответ, а добавление политики возврата через RAG или смена модели на 4o-mini поднимают согласие до нужного порога. Отдельно он приводит кейс Instagram, где AI-чат-бот с повышенными правами скомпрометировал 20 225 аккаунтов, потому что eval или harness не остановили опасное действие заранее. В проде eval-набор должен жить: нужно снимать реальный трафик, вручную размечать спорные кейсы и подтягивать актуальную политику через RAG, например с помощью open-source решений IBM — OpenRAG и Docling.

Практика

Что получишь
Сможете собрать свой eval-набор с LLM-судьёй, настроить порог согласия для CI и понимать, какие смещения судьи ломают проверку.
Первый шаг
Соберите 30 реальных сценариев с ответами агента и своими вердиктами pass/fail, затем попросите любую дешёвую LLM оценить их и сравните согласие.
Цифры
  • —20 225 — столько аккаунтов скомпрометировал AI-чат-бот Instagram из-за отсутствия eval/harness защиты
  • —80–85 процентов — целевой порог согласия LLM-судьи с человеческими вердиктами, выше 100% не нужно
  • —30 — минимальный размер стартового датасета примеров для калибровки судьи
  • —14 дней — срок возврата товара в примере, который должна учитывать политика
Честно
Автор — AI-инженер IBM и заметно продвигает open-source инструменты компании OpenRAG и Docling, хотя основной метод не привязан к ним. Весь код и датасет из 30 примеров он показывает на экране, но файлы не прикладывает, поэтому для повторения придётся переписывать их из видео. Для запуска нужны API-ключи, а на живом демо часть прогонов падала из-за таймаутов сети.
Если слова незнакомы — 5 терминов

Понадобится экран

Часть информации есть только на экране (код в терминале). Открыть на YouTube с 29:34.

Связки из этого ролика

2 шт.

Компоненты

9 шт.

Цитаты-доказательства

дословно из субтитров

Формат: пошаговый урок · для практикующих · уверенность разметки 0.9 · источник