Evals для ИИ: тестируйте работу, а не ответ

Что в ролике
Чтобы понять, почему ИИ-продукты в продакшене не оправдывают ожиданий, Рамакришнан предлагает относиться к evals как к экзаменам для ИИ — это задачи, стандарты и доказательства того, что обещание пользователю выполняется. Он ссылается на MIT GenAI divide, где 95% организаций не получают отдачи от генеративного ИИ, и подчёркивает: ни один тест не измеряет всё, поэтому eval должен отвечать на ограниченный вопрос и быть одним сигналом готовности. Первый шаг — сформулировать самую амбициозную цель, спрашивая, что должно произойти, что не должно никогда произойти и когда остановиться, а тест, набирающий 100 из 100, просто недостаточно строгий. Проверять нужно весь workflow, а не только финальный ответ: в примере с заменой фона модель сменила фон на кремовый, но добавила у изображения две ручки, поэтому каждый из 100 шагов должен оцениваться отдельно. Одна оценка не отражает систему, поэтому нужен целостный набор: автоматические проверки в CI, постоянная человеческая проверка и адверсариальные тесты, которые выявляют конкретные сбои. Для проверки долгих цепочек решений докладчик предлагает открытый Python-пакет E-Slams, который заставляет модели играть в шахматы, го, покер и аркады. На сайте E-Slams есть предпросмотр, где модель Fable играет в крестики-нолики против GPT-6 Astra и матч заканчивается ничьей. В конце он напоминает про регрессии: Google Assistant после перехода на Gemini перестал ставить напоминания, поэтому реальные ошибки пользователей нужно превращать в тесты и обновлять eval, когда модель достигает 85–90 баллов.
Практика
- Что получишь
- Вы получите ментальную модель построения eval-системы для высокорисковых приложений: как ставить амбициозные цели, проверять весь workflow и превращать пользовательские ошибки в тесты. Отдельно узнаете, почему тест со 100 баллами — признак слабой проверки, а не успеха.
- Первый шаг
- Начните с формулировки самой амбициозной цели для вашего агента: что должно произойти, что никогда не должно произойти и когда следует остановиться.
- Цифры
- —95% — доля организаций, которые по данным MIT GenAI divide не получают отдачи от генеративного ИИ
- —100 из 100 — такой результат теста докладчик считает признаком слишком слабой проверки, а не успеха
- —85–90 баллов — уровень, при котором пора делать eval сложнее, по словам докладчика
- —50 игр и 90 провайдеров — столько поддерживает открытый пакет E-Slams
- Честно
- Докладчик не рекламирует сторонних вендоров, но активно продвигает свой открытый проект E-Slams и предстоящее соревнование Grand Slams of AI в феврале. Для использования E-Slams нужно установить Python-пакет и работать с кодом, демо и список игр находятся на сайте проекта, но интерфейс сайта в транскрипте не детализирован. Конкретные метрики и чек-листы для внедрения в CI не приведены — это скорее рамка, чем готовая инструкция.
Если слова незнакомы — 5 терминов
- evalsпроверки качества ответов и действий ИИ-систем
- workflowрабочий процесс из последовательных шагов
- CIпрактика автоматической проверки кода при каждом изменении
- адверсариальные тестыпроверки, где систему намеренно ставят в сложные или атакующие условия
- регрессииповторные появления старых ошибок после обновления модели
Компоненты
6 шт.Формат: разбор · для практикующих · уверенность разметки 0.85 · источник