Evals как fuzzy unit-тесты: надёжность до запуска

Что в ролике
Обычные юнит-тесты не подходят для недетерминированных AI-систем, поэтому для проверки поведения агентов нужны eval — «fuzzy unit-тесты» с вердиктами вместо точных сравнений. Спикер противопоставляет eval и harness: harness даёт надёжность «точно в момент» при выполнении запроса, а eval — «заранее», ещё до выката, и вместе они работают как два колеса велосипеда. В любом качественном eval-наборе есть тестовые сценарии, ожидаемое поведение, судья и агрегация результатов, а среди техник выделяют точное совпадение, валидацию схемы, попарное и поточечное сравнение и LLM-судью. Автор разбирает, как LLM-судья может врать из-за позиционного смещения, лести, самореференции и любви к длинным ответам, поэтому для надёжности судья должен соглашаться с человеком на 80–85 процентов, а 100 процентов — признак переобучения. На живом примере с возвратом наушников он показывает, как дешёвая GPT-3,5 Turbo ошибается и выбирает свой же ответ, а добавление политики возврата через RAG или смена модели на 4o-mini поднимают согласие до нужного порога. Отдельно он приводит кейс Instagram, где AI-чат-бот с повышенными правами скомпрометировал 20 225 аккаунтов, потому что eval или harness не остановили опасное действие заранее. В проде eval-набор должен жить: нужно снимать реальный трафик, вручную размечать спорные кейсы и подтягивать актуальную политику через RAG, например с помощью open-source решений IBM — OpenRAG и Docling.
Практика
- Что получишь
- Сможете собрать свой eval-набор с LLM-судьёй, настроить порог согласия для CI и понимать, какие смещения судьи ломают проверку.
- Первый шаг
- Соберите 30 реальных сценариев с ответами агента и своими вердиктами pass/fail, затем попросите любую дешёвую LLM оценить их и сравните согласие.
- Цифры
- —20 225 — столько аккаунтов скомпрометировал AI-чат-бот Instagram из-за отсутствия eval/harness защиты
- —80–85 процентов — целевой порог согласия LLM-судьи с человеческими вердиктами, выше 100% не нужно
- —30 — минимальный размер стартового датасета примеров для калибровки судьи
- —14 дней — срок возврата товара в примере, который должна учитывать политика
- Честно
- Автор — AI-инженер IBM и заметно продвигает open-source инструменты компании OpenRAG и Docling, хотя основной метод не привязан к ним. Весь код и датасет из 30 примеров он показывает на экране, но файлы не прикладывает, поэтому для повторения придётся переписывать их из видео. Для запуска нужны API-ключи, а на живом демо часть прогонов падала из-за таймаутов сети.
Если слова незнакомы — 5 терминов
- evalнабор сценариев с ожидаемым поведением и вердиктами для проверки AI-системы
- harnessпрограммная обвязка, которая управляет моделью и действиями в реальном времени
- LLM-судьяязыковая модель, которая оценивает ответы другой модели и выдаёт вердикт pass/fail
- RAGпоиск нужных фрагментов из базы знаний и подстановка их в промпт перед ответом
- юнит-тестпроверка отдельной функции или кода на точное совпадение результата
Понадобится экран
Часть информации есть только на экране (код в терминале). Открыть на YouTube с 29:34.
Связки из этого ролика
2 шт.- TypeScript + vitest
- Open RAG + Docling + OpenSearch
Компоненты
9 шт.Цитаты-доказательства
дословно из субтитров- let's npx vest, right? That's the tool that people use.29:34
- So we'll import uh Awesome. Ah, this is it just feels so right. I'll import a wonderful.32:34
- So, we'll do policy, right, is we only accept returns within a 14-day window.35:49
- only fail the test if human AI agreement drops below, I don't know, 80%. Right? Otherwise, pass.46:28
Формат: пошаговый урок · для практикующих · уверенность разметки 0.9 · источник