К содержимому
Дайджест

Как Netflix оценивает ИИ без правильного ответа

AI Engineer·5 ноября 2026·17:53
можно прочитать понять, как устроено
Открыть на YouTube
Выступление Камерона Вулфа из Netflix о системе оценки качества для субъективных ИИ-задач, полезное инженерам и исследователям, которые запускают LLM-агентов и хотят отличать реальные улучшения от шума.

Что в ролике

Когда задача не имеет единственного правильного ответа, например творческое письмо, обычные проверки вроде точного совпадения перестают работать, и в оценку добавляется LLM-судья или рубрика, которые сами недетерминированы. Чтобы не утонуть в шуме, спикер предлагает собирать процесс из трёх частей: человеческая оценка как эталон качества, автоматические офлайн-оценки для быстрых экспериментов и мониторинг в продакшене. Человеческую оценку нужно сначала откалибровать: вместе с экспертами прописать критерии и шкалы, а затем сравнивать оценки разных людей на одних и тех же примерах и править гайдлайны до высокого согласия. Для объёма данных используется power analysis, который помогает понять, сколько примеров нужно, чтобы отличить реальное улучшение модели от случайного разброса, а сами данные подбирают разнообразными, реалистичными и сложными. Офлайн-часть строится на LLM-судьях или рубриках: судья получает общие критерии качества, а рубрика проверяет конкретный чек-лист, и точность этих проверяющих надо мета-оценивать на золотых примерах с человеческими оценками. В Netflix мета-оценку доводили до связи с бизнес-метриками: выходы LLM-судьи коррелировали с отказом пользователей от просмотра. Продакшен-мониторинг замыкает цикл: в A/B-тестах сравнивают явные и неявные сигналы, например длину сессии или отказы, а найденные ошибки возвращают в офлайн- и человеческую оценку.

Практика

Что получишь
Понятную схему из трёх компонентов для оценки субъективных задач и набор приёмов, которые снижают шум и помогают отличать реальное улучшение модели от случайности. Сможете выстроить процесс от гайдлайнов до A/B-тестов и мета-оценки судей.
Первый шаг
Начать с человеческой оценки: соберите 2–3 экспертов, пропишите критерии качества и оцените одни и те же примеры, чтобы увидеть расхождения и уточнить гайдлайны.
Цифры
  • —50–100 тысяч долларов — столько могут стоить прогоны недавних бенчмарков
  • —3 части — человеческая оценка, офлайн-оценки и продакшен-мониторинг в предложенном фреймворке
  • —2 недетерминированных компонента в офлайн-оценке: сама модель и LLM-судья или рубрика
Честно
Автор не продаёт курс или подписку, но ссылается на свою рассылку, а слайды и дополнительные материалы доступны по QR-коду. Сам ролик — обзорная лекция без конкретных цифр и кода, поэтому для повторения нужны внешние материалы. Power analysis и метрики объясняются на уровне идей, формулы не показаны.
Если слова незнакомы — 6 терминов

Формат: разбор · для практикующих · уверенность разметки 0.9 · источник