Как NatWest доказывает безопасность ИИ-агента

Что в ролике
Если вы собираетесь выкатывать агента на миллионы банковских клиентов, главная сложность не в том, чтобы его написать, а в том, чтобы доказать безопасность. Инженер NatWest показывает это на примере Kora — цифрового ассистента, который обслуживает 19 млн розничных клиентов и 100 000 диалогов в день, а теперь около трети сценариев переводится на генеративные ответы с RAG и агентами, способными менять адрес или проводить платежи. Чтобы снизить риски, компания сначала пропускает каждую реплику через «воронку маршрутизации»: контекстный фильтр отсекает 20% кликов по кнопкам, затем идут детерминированные правила, релевантность, интент-классификатор на основе эмбеддингов и политики доступа, и только после этого запрос попадает в генеративную модель. Качество оценивают не одной точностью, а вектором из трёх групп метрик — безопасность, задача и опыт, потому что маршрутизатор с точностью 94%, но уверенный в своих 6% ошибок, опаснее того, который знает о своих слабостях. Человеческая валидация платёжного агента на 111 диалогах дала общий результат 83%, но happy path показал 97%, а смена темы — только 43%, и этот разброс в 54 пункта не виден в одной цифре. Для автоматизации проверок используют LLM-судью, но его оценки оказались слишком щедрыми: на внутреннем проекте со 14 000 жалоб средняя оценка судьи была 0,97 против 0,83 у людей, а корреляция почти нулевая, поэтому модель судьи пришлось взять из другого семейства, чем у агента. Запуск идёт через теневое развёртывание и фича-флаги с поэтапным откатом, а все трассировки и метрики собираются в Comet, чтобы непрерывная оценка была частью production-инфраструктуры, а не разовым ноутбуком.
Практика
- Что получишь
- Поймёте, почему одной точности недостаточно для безопасности агента, какие метрики и проверки нужны в регулируемой среде и как поэтапно выкатывать генеративные ответы без «большого взрыва».
- Первый шаг
- Начните с теневого развёртывания: дайте новому агенту классифицировать реальные запросы, но отвечать оставьте прежней системе, чтобы собрать данные без риска для клиентов.
- Цифры
- —19 млн — столько розничных клиентов у NatWest, и именно это определяет цену ошибки агента
- —100 000 — столько диалогов в день обрабатывает ассистент Kora
- —83% — общий процент прохождения платёжного агента в ручной валидации, при 97% на happy path и 43% на смене темы
- —14 000 — столько внутренних жалоб оценили одновременно человек и LLM-судья, чтобы сравнить их оценки
- Честно
- Прямой рекламы нет, но доклад построен вокруг платформы Comet как единого инструмента наблюдения, и её интерфейс показывается на экране; точных настроек и конфигураций в пересказе недостаточно для повторения — их придётся смотреть в записи. Результаты — внутренние данные NatWest, они не переносимы один в один, но подходы — да.
Если слова незнакомы — 9 терминов
- агентпрограмма, которая не просто отвечает текстом, а может выполнять действия — например, провести платёж или сменить адрес
- RAGспособ генерации ответа, при котором модель ищет информацию в базе знаний компании и опирается на найденные документы
- интент-классификатормодель, которая определяет намерение пользователя по тексту и направляет запрос в нужный сценарий
- эмбеддингичисловые представления текста, по которым модель оценивает смысловую близость фраз
- LLM-судьяязыковая модель, которая автоматически оценивает ответы другой модели по заданным критериям
- happy pathидеальный сценарий, когда пользователь идёт по ожидаемому пути без отклонений и неожиданных тем
- фича-флагипереключатели в коде, позволяющие включать или отключать отдельные функции без полного перевыпуска
- теневое развёртываниережим, при котором новая модель работает параллельно, видит реальные данные, но ответы пользователю отдаёт старая система
- production-инфраструктурабоевая среда, где работает живой продукт, в отличие от черновиков и экспериментов
Компоненты
6 шт.Формат: разбор кейса · для продвинутых · уверенность разметки 0.9 · источник