К содержимому
Дайджест

LLM-судьи врут: надёжный верификатор для веб-агентов

AI Engineer·5 октября 2026·21:14
можно прочитать понять, как устроено
Открыть на YouTube
Выступление исследователей из Microsoft и Browserbase о том, почему LLM-судьи для оценки веб-агентов завышают результаты, и как они построили открытый верификатор.

Что в ролике

Если вы оцениваете веб-агентов через LLM-судью, этот доклад объясняет, почему такие оценки часто завышены: стандартный судья GPT-4o на бенчмарке WebVoyager показал 74% успеха, тогда как реальный успех составил 38%. Авторы из Browserbase и Microsoft построили универсальный верификатор, который сначала генерирует рубрику примерно из 10 критериев, затем отбирает по скриншотам траектории самые релевантные для каждого критерия и проверяет, не противоречит ли агент сам себе. Он выдаёт процессную оценку с частичным зачётом и итоговый boolean-исход, а при разработке следовали четырём принципам: оценивать только то, что просили, не давать ошибкам каскадиться, смотреть на скриншоты как на ground truth и отделять контролируемые ошибки агента от неконтролируемых, например, товара нет в наличии. Примеры из доклада: плохая рубрика требовала цену отеля, хотя задание просило только адрес кофейни; ошибка в длине фамилии Timberlake не должна была занулять правильный ответ про его состояние. На размеченных людьми траекториях верификатор снизил ложные срабатывания почти с половины до нуля, а его согласие с людьми по каппе Коэна составило 0,58 — столько же, сколько между двумя людьми. В эксперименте с SFT обучение на 3 000 траекторий, отфильтрованных новым верификатором, дало более сильную модель, чем обучение на данных от слабого судьи, и это подтвердило ценность качественной фильтрации. Ещё один эксперимент показал, что автоисследовательский цикл на Opus 4.6 повторил 30 экспериментов за один день вместо трёх недель у людей, но достиг только 70% согласия с человеческими разметками, поэтому полностью заменить человека не смог.

Практика

Что получишь
Понимание, почему популярные LLM-судьи для веб-агентов дают ложную уверенность, и из каких компонентов состоит более честный верификатор: рубрика, отбор скриншотов, разделение контролируемых и неконтролируемых ошибок.
Первый шаг
Прогнать свою траекторию веб-агента через открытый код Universal Verifier из репозитория Microsoft или хотя бы сравнить оценку своего судьи с ручной проверкой по скриншотам.
Цифры
  • —74% против 38% — разрыв между оценкой стандартного судьи GPT-4o на WebVoyager и реальным успехом агента
  • —0,58 каппа Коэна — согласие верификатора с человеческими экспертами, такое же, как между людьми
  • —3 000 отфильтрованных траекторий SFT хватило для более сильной модели, чем при использовании слабого судьи
  • —За 1 день автоисследование на Opus 4.6 повторило 30 экспериментов, но достигло лишь 70% согласия с людьми
Честно
Явной рекламы нет: доклад от сотрудников Browserbase и Microsoft, которые продвигают открытый код и бенчмарк, а не платный продукт. Конкретные промпты и полные примеры рубрик показываются на слайдах, но в записи не зачитываются, поэтому для повторения понадобится статья на arXiv и репозиторий Microsoft.
Если слова незнакомы — 7 терминов

Компоненты

7 шт.

Формат: разбор · для продвинутых · уверенность разметки 0.9 · источник