Не доверяйте AI-агентам: оценки вместо бенчмарков

Что в ролике
Если вы выбираете модель по публичным бенчмаркам, спикер — AI-инженер Omni Analytics и автор Code Scale Bench — показывает на примерах, почему это опасно и как строить собственные оценки. Изменение промпта в тесте MCP-инструмента дало 28% снижения стоимости, но агент так и не вызвал нужный инструмент, то есть экономия не означала успех. На бенчмарке Turbo Bench 4 результаты Opus 5 и Astra менялись на 30+ процентов в зависимости от harness — Open Hands или другой, поэтому проверять нужно конфигурацию, близкую к вашей рабочей среде. Для этого стоит собирать набор задач из реальных нагрузок, кластеризовать их по типам и контролировать переменные: покрытие, число прогонов и взаимодействие компонентов. Полная трассировка помогает как детективу: проверять, был ли инструмент доступен, вызывался ли и какие значения вернул, а также фиксировать случаи неиспользования, потому что даже рабочий инструмент не гарантирует улучшение итога. Выбор метрики зависит от задачи: в примере Claude вернул 295 файлов при нужных шести, и оптимизация только полноты, а не точности, пропускает мусор. Отдельно спикер разбирает качественные гейты и безопасность: агент может заметить проблему, но не остановить процесс, а 1% ложных тревог LLM-судьи превращается в 10 000 ручных проверок. В конце она советует считать продакшен истиной, использовать shadow-режим и выкладывает на GitHub навыки и 300-страничный архив.
Практика
- Что получишь
- Поймёте, чем публичный бенчмарк отличается от внутренней оценки, и как спланировать проверку агентов под свою систему: какие переменные контролировать, какие метрики выбирать и как ловить отказы.
- Первый шаг
- Собрать 5–10 реальных задач из своего продукта и прогнать на них текущую конфигурацию агента с полной трассировкой, чтобы увидеть базовые отказы.
- Цифры
- —28% — на столько подешевел прогон после смены промпта, хотя агент так и не вызвал нужный инструмент
- —30+% — на столько менялась эффективность пары Opus 5 и Astra при смене harness на Turbo Bench 4
- —295 файлов — столько вернул Claude при поиске, когда нужны были только 6
- —1% ложных тревог LLM-судьи вылился в 10 000 ручных проверок
- Честно
- Спикер работает в Omni Analytics и в конце даёт ссылку на свой GitHub с навыками и 300-страничным архивом практик — материалы бесплатные. Часть примеров показана только на слайдах: интерфейсы harness, графики метрик и конкретные конфигурации, поэтому для точного повторения нужно смотреть запись.
Если слова незнакомы — 5 терминов
- MCPстандарт подключения внешних инструментов к агенту
- harnessтестовая обвязка, в которой запускается агент с окружением и инструментами
- трассировкаполная запись шагов, вызовов и результатов агента для разбора
- LLM-судьямодель, которая автоматически оценивает ответы другой модели
- shadow-режимзапуск новой версии параллельно с боевой без влияния на пользователей
Связки из этого ролика
1 шт.- LLM as a judge
Компоненты
11 шт.Формат: разбор · для практикующих · уверенность разметки 0.92 · источник