К содержимому
Дайджест

Не доверяйте AI-агентам: оценки вместо бенчмарков

AI Engineer·23 октября 2026·17:12
текст даёт основное понять, как устроено
Открыть на YouTube
Запись доклада AI-инженера Omni Analytics о том, как строить внутренние оценки агентов и не полагаться на публичные бенчмарки.

Что в ролике

Если вы выбираете модель по публичным бенчмаркам, спикер — AI-инженер Omni Analytics и автор Code Scale Bench — показывает на примерах, почему это опасно и как строить собственные оценки. Изменение промпта в тесте MCP-инструмента дало 28% снижения стоимости, но агент так и не вызвал нужный инструмент, то есть экономия не означала успех. На бенчмарке Turbo Bench 4 результаты Opus 5 и Astra менялись на 30+ процентов в зависимости от harness — Open Hands или другой, поэтому проверять нужно конфигурацию, близкую к вашей рабочей среде. Для этого стоит собирать набор задач из реальных нагрузок, кластеризовать их по типам и контролировать переменные: покрытие, число прогонов и взаимодействие компонентов. Полная трассировка помогает как детективу: проверять, был ли инструмент доступен, вызывался ли и какие значения вернул, а также фиксировать случаи неиспользования, потому что даже рабочий инструмент не гарантирует улучшение итога. Выбор метрики зависит от задачи: в примере Claude вернул 295 файлов при нужных шести, и оптимизация только полноты, а не точности, пропускает мусор. Отдельно спикер разбирает качественные гейты и безопасность: агент может заметить проблему, но не остановить процесс, а 1% ложных тревог LLM-судьи превращается в 10 000 ручных проверок. В конце она советует считать продакшен истиной, использовать shadow-режим и выкладывает на GitHub навыки и 300-страничный архив.

Практика

Что получишь
Поймёте, чем публичный бенчмарк отличается от внутренней оценки, и как спланировать проверку агентов под свою систему: какие переменные контролировать, какие метрики выбирать и как ловить отказы.
Первый шаг
Собрать 5–10 реальных задач из своего продукта и прогнать на них текущую конфигурацию агента с полной трассировкой, чтобы увидеть базовые отказы.
Цифры
  • —28% — на столько подешевел прогон после смены промпта, хотя агент так и не вызвал нужный инструмент
  • —30+% — на столько менялась эффективность пары Opus 5 и Astra при смене harness на Turbo Bench 4
  • —295 файлов — столько вернул Claude при поиске, когда нужны были только 6
  • —1% ложных тревог LLM-судьи вылился в 10 000 ручных проверок
Честно
Спикер работает в Omni Analytics и в конце даёт ссылку на свой GitHub с навыками и 300-страничным архивом практик — материалы бесплатные. Часть примеров показана только на слайдах: интерфейсы harness, графики метрик и конкретные конфигурации, поэтому для точного повторения нужно смотреть запись.
Если слова незнакомы — 5 терминов

Связки из этого ролика

1 шт.

Компоненты

11 шт.

Формат: разбор · для практикующих · уверенность разметки 0.92 · источник