Оценка AI-агентов: почему 96% containment — не победа

Что в ролике
Оценка агентов по одному containment сбивает с толку: в примере с двумя «интернами» в банке стажёр A закрывает 80% диалогов и передаёт 20% старшим банкирам, а стажёр B — 96% и почти не эскалирует, но именно A оказывается правильным наймом. Druid AI предлагает модель из групп configured и runtime с governance поверх: 26 компонентов оцениваются по шкале 0–2 и взвешиваются, причём governance получает 39%, mandate 26%, а технические блоки — меньше. Среди компонентов — границы ошибки, риск, комплаенс, наблюдаемость, дрейф, точность, галлюцинации и тон диалога. Отдельно проверяются мандат агента: цель, политики, изолированный контекст, безопасные системы и бюджет, чтобы не дать агенту доступ к MCP-серверу с 4 000 инструментов. Платформенные возможности оценивают переиспользование навыков, централизованный handoff и эффективность инструментов, а не их количество. В финале агент A получает 83% против более «зелёного» B, и авторы подчёркивают, что зелёный дашборд может держаться на 92%, а реальная оценка за год сползти с 83 до 60. Свои выводы они подкрепляют бенчмарком за 15 месяцев продакшн-данных: containment по отраслям от 80% в финтехе до 99% в высшем образовании.
Практика
- Что получишь
- Понятную систему оценки AI-агентов: 26 взвешенных компонентов, от границ ошибки и риска до handoff и тона, плюс еженедельный замер против человеческого базового уровня. Это помогает обсуждать с бизнесом ROI и реальный эффект вместо одного зелёного показателя.
- Первый шаг
- Скачать бесплатный Druid 2026 AI Adoption Benchmark по QR-коду из презентации и прогнать по нему одного своего агента, начав с блока governance.
- Цифры
- —80% против 96% — containment у «интерна A» и «интерна B»; при этом именно A с 20% эскалаций оказался лучшим наймом
- —26 компонентов, каждый от 0 до 2, с весом governance 39% и mandate 26% — так устроена модель Druid
- —83% против 60% — итоговый балл агента A и его же реальная оценка спустя год при плоском зелёном дашборде 92%
- —15 месяцев — период продакшн-данных, на котором собран Druid 2026 AI Adoption Benchmark
- Честно
- Авторы — представители Druid AI и продвигают свой фреймворк и платформу: в конце предлагают скачать бесплатный отраслевой бенчмарк и зайти на стенд LG11. Полный список всех 26 компонентов и точные веса остальных блоков в ролике не показаны, поэтому повторить скоринг на своих данных можно лишь частично.
Если слова незнакомы — 6 терминов
- containmentдоля диалогов, которые агент закрыл без передачи человеку
- governanceуправленческие рамки и контроль агента: риски, комплаенс, наблюдаемость
- mandateописание границ агента: цель, политики, контекст и бюджет
- MCPпротокол, через который агент подключается к внешним инструментам и серверам
- handoffпередача диалога от агента человеку
- дрейфпостепенное ухудшение качества агента после запуска
Компоненты
1 шт.Формат: разбор · для бизнеса · уверенность разметки 0.8 · источник