К содержимому
Дайджест

Свой бенчмарк агентов: от датасета до лидерборда

AI Engineer·11 октября 2026·52:30
нужен экран можно повторить промо пошагово
Открыть на YouTube
Практический воркшоп Вольфрама Равенвольфа для инженеров, которые хотят сами запускать воспроизводимые оценки агентов и не доверять одному среднему баллу.

Что в ролике

Чтобы понять, какую модель ставить в агента, спикер предлагает собирать собственный бенчмарк от датасета до лидерборда, потому что один средний балл не показывает разброс и стабильность. Он выбрал агентный бенчмарк Terminal Bench 2.0 с 89 задачами вроде починки git-репозитория, восстановления базы данных и подбора пароля, а запускает его через evaluation-харнес Harbor в песочницах, чтобы не портить свою машину. Для каждого прогона фиксируются модель и провайдер, агент, размер контекста, уровень рассуждений, системный промпт, таймауты, ретраи и температура: смена любой из этих переменных делает сравнение некорректным. В демо он запускает одну задачу с GLM 5.2 на серверлесс-инференсе Weights & Biases, а собранный им WolfBench собирает уже 443 прогона и показывает не только средний балл, но и «потолок», наихудший и наилучший результат за пять запусков. На его данных GPT-5.5 с Codex оказался лучшим по среднему баллу, но почти за 1000 долларов, тогда как Cursor с той же моделью стоил 282 доллара. Gemini 3.5 Flash почти догнал GPT-5.5 по доле решённых задач, но сжёг 1,65 млрд токенов против 136 млн и в итоге обошёлся в 620 долларов против 497. Fable отказался выполнять 13 задач и стал самым дорогим прогоном на 11 000 долларов, а Opus 4.6 при максимальном уровне обдумывания набирал меньше баллов из-за переобдумывания вместо проб и ошибок.

Практика

Что получишь
Понимание, какие слои нужно зафиксировать при оценке агента, и способ собирать свои прогоны с честным сравнением среднего балла, стабильности, потолка, стоимости и расхода токенов.
Первый шаг
Завести бесплатный аккаунт Weights & Biases, установить Harbor через uv tool install harbor и взять конфиг из QR-кода в слайдах, чтобы прогнать одну задачу Terminal Bench.
Цифры
  • —89 задач — размер Terminal Bench 2.0, по которому считается доля решённых заданий
  • —5 запусков на модель — минимум, который автор считает нужным, чтобы не попасть в случайность одного прогона
  • —136 млн против 1,65 млрд токенов — расход GPT-5.5 и Gemini 3.5 Flash на близкий результат
  • —620 против 497 долларов — итоговая стоимость прогона Gemini 3.5 Flash и GPT-5.5 при тех же задачах
Честно
Спикер — сотрудник Weights & Biases и продвигает их серверлесс-инференс, песочницы и собственный фреймворк WolfBench; бесплатные инференс-кредиты дают участникам конференции, а для повторения нужен аккаунт W&B. Конфиги и QR-коды, которые он использует во время демо, видны только на слайдах, полные трассы лежат в Weave по ссылкам с лидерборда. Сам WolfBench и методология открыты, но без аккаунта W&B отдельные шаги не воспроизвести.
Если слова незнакомы — 6 терминов

Понадобится экран

Часть информации есть только на экране (настройки). Открыть на YouTube с 16:27.

Связки из этого ролика

3 шт.

Компоненты

25 шт.

Цитаты-доказательства

дословно из субтитров

Формат: пошаговый урок · для практикующих · уверенность разметки 0.85 · источник