Свой бенчмарк агентов: от датасета до лидерборда

Что в ролике
Чтобы понять, какую модель ставить в агента, спикер предлагает собирать собственный бенчмарк от датасета до лидерборда, потому что один средний балл не показывает разброс и стабильность. Он выбрал агентный бенчмарк Terminal Bench 2.0 с 89 задачами вроде починки git-репозитория, восстановления базы данных и подбора пароля, а запускает его через evaluation-харнес Harbor в песочницах, чтобы не портить свою машину. Для каждого прогона фиксируются модель и провайдер, агент, размер контекста, уровень рассуждений, системный промпт, таймауты, ретраи и температура: смена любой из этих переменных делает сравнение некорректным. В демо он запускает одну задачу с GLM 5.2 на серверлесс-инференсе Weights & Biases, а собранный им WolfBench собирает уже 443 прогона и показывает не только средний балл, но и «потолок», наихудший и наилучший результат за пять запусков. На его данных GPT-5.5 с Codex оказался лучшим по среднему баллу, но почти за 1000 долларов, тогда как Cursor с той же моделью стоил 282 доллара. Gemini 3.5 Flash почти догнал GPT-5.5 по доле решённых задач, но сжёг 1,65 млрд токенов против 136 млн и в итоге обошёлся в 620 долларов против 497. Fable отказался выполнять 13 задач и стал самым дорогим прогоном на 11 000 долларов, а Opus 4.6 при максимальном уровне обдумывания набирал меньше баллов из-за переобдумывания вместо проб и ошибок.
Практика
- Что получишь
- Понимание, какие слои нужно зафиксировать при оценке агента, и способ собирать свои прогоны с честным сравнением среднего балла, стабильности, потолка, стоимости и расхода токенов.
- Первый шаг
- Завести бесплатный аккаунт Weights & Biases, установить Harbor через uv tool install harbor и взять конфиг из QR-кода в слайдах, чтобы прогнать одну задачу Terminal Bench.
- Цифры
- —89 задач — размер Terminal Bench 2.0, по которому считается доля решённых заданий
- —5 запусков на модель — минимум, который автор считает нужным, чтобы не попасть в случайность одного прогона
- —136 млн против 1,65 млрд токенов — расход GPT-5.5 и Gemini 3.5 Flash на близкий результат
- —620 против 497 долларов — итоговая стоимость прогона Gemini 3.5 Flash и GPT-5.5 при тех же задачах
- Честно
- Спикер — сотрудник Weights & Biases и продвигает их серверлесс-инференс, песочницы и собственный фреймворк WolfBench; бесплатные инференс-кредиты дают участникам конференции, а для повторения нужен аккаунт W&B. Конфиги и QR-коды, которые он использует во время демо, видны только на слайдах, полные трассы лежат в Weave по ссылкам с лидерборда. Сам WolfBench и методология открыты, но без аккаунта W&B отдельные шаги не воспроизвести.
Если слова незнакомы — 6 терминов
- бенчмарктестовый набор задач для сравнения моделей
- агентпрограмма, которая сама выполняет команды в среде под задачу
- evaluation-харнесобвязка, которая прогоняет бенчмарк и собирает результаты
- песочницаизолированная виртуальная среда, чтобы агент не трогал вашу машину
- трассыжурнал всех шагов агента для проверки результата
- серверлесс-инференсзапуск модели на стороне провайдера без своей инфраструктуры
Понадобится экран
Часть информации есть только на экране (настройки). Открыть на YouTube с 16:27.
Связки из этого ролика
3 шт.- Terminal Bench + Harbor + W&B
- Harbor + Terminus 2 + GLM 5.2
- Wolf Bench + Weave
Компоненты
25 шт.Цитаты-доказательства
дословно из субтитров- There is a link and an easy URL you can just enter with the full configuration a couple of slides ahead.16:27
- So, here is another QR code. This gives you the full configuration, so you don't have to copy stuff from the slides and here's a formatting that has been messed up a little.27:12
- So here again, take a screenshot. Scan the QR code. This is where you can get you get to a form where you can get free inference credits for the duration of the AI engineer conference and to do that you need a free One B account.9:11
Формат: пошаговый урок · для практикующих · уверенность разметки 0.85 · источник