Как Netflix оценивает ИИ без правильного ответа

Что в ролике
Когда задача не имеет единственного правильного ответа, например творческое письмо, обычные проверки вроде точного совпадения перестают работать, и в оценку добавляется LLM-судья или рубрика, которые сами недетерминированы. Чтобы не утонуть в шуме, спикер предлагает собирать процесс из трёх частей: человеческая оценка как эталон качества, автоматические офлайн-оценки для быстрых экспериментов и мониторинг в продакшене. Человеческую оценку нужно сначала откалибровать: вместе с экспертами прописать критерии и шкалы, а затем сравнивать оценки разных людей на одних и тех же примерах и править гайдлайны до высокого согласия. Для объёма данных используется power analysis, который помогает понять, сколько примеров нужно, чтобы отличить реальное улучшение модели от случайного разброса, а сами данные подбирают разнообразными, реалистичными и сложными. Офлайн-часть строится на LLM-судьях или рубриках: судья получает общие критерии качества, а рубрика проверяет конкретный чек-лист, и точность этих проверяющих надо мета-оценивать на золотых примерах с человеческими оценками. В Netflix мета-оценку доводили до связи с бизнес-метриками: выходы LLM-судьи коррелировали с отказом пользователей от просмотра. Продакшен-мониторинг замыкает цикл: в A/B-тестах сравнивают явные и неявные сигналы, например длину сессии или отказы, а найденные ошибки возвращают в офлайн- и человеческую оценку.
Практика
- Что получишь
- Понятную схему из трёх компонентов для оценки субъективных задач и набор приёмов, которые снижают шум и помогают отличать реальное улучшение модели от случайности. Сможете выстроить процесс от гайдлайнов до A/B-тестов и мета-оценки судей.
- Первый шаг
- Начать с человеческой оценки: соберите 2–3 экспертов, пропишите критерии качества и оцените одни и те же примеры, чтобы увидеть расхождения и уточнить гайдлайны.
- Цифры
- —50–100 тысяч долларов — столько могут стоить прогоны недавних бенчмарков
- —3 части — человеческая оценка, офлайн-оценки и продакшен-мониторинг в предложенном фреймворке
- —2 недетерминированных компонента в офлайн-оценке: сама модель и LLM-судья или рубрика
- Честно
- Автор не продаёт курс или подписку, но ссылается на свою рассылку, а слайды и дополнительные материалы доступны по QR-коду. Сам ролик — обзорная лекция без конкретных цифр и кода, поэтому для повторения нужны внешние материалы. Power analysis и метрики объясняются на уровне идей, формулы не показаны.
Если слова незнакомы — 6 терминов
- LLM-судьяязыковая модель, которая оценивает ответ другой модели по заданным критериям
- рубрикасписок конкретных проверок для задачи, каждая проверяется отдельно
- power analysisстатистический расчёт нужного объёма данных для надёжного вывода
- мета-оценкапроверка точности самого оценщика на эталонных примерах
- золотые примерыразмеченные людьми примеры, в оценке которых уверены
- A/B-тестсравнение двух версий на части пользователей для замера разницы
Формат: разбор · для практикующих · уверенность разметки 0.9 · источник