К содержимому
Дайджест

Как NatWest доказывает безопасность ИИ-агента

AI Engineer·4 ноября 2026·18:01
можно прочитать можно повторить
Открыть на YouTube
Доклад ведущего AI-инженера NatWest о выводе банковского ассистента Kora на генеративные ответы перед 19 млн клиентов и о системе доказательства безопасности.

Что в ролике

Если вы собираетесь выкатывать агента на миллионы банковских клиентов, главная сложность не в том, чтобы его написать, а в том, чтобы доказать безопасность. Инженер NatWest показывает это на примере Kora — цифрового ассистента, который обслуживает 19 млн розничных клиентов и 100 000 диалогов в день, а теперь около трети сценариев переводится на генеративные ответы с RAG и агентами, способными менять адрес или проводить платежи. Чтобы снизить риски, компания сначала пропускает каждую реплику через «воронку маршрутизации»: контекстный фильтр отсекает 20% кликов по кнопкам, затем идут детерминированные правила, релевантность, интент-классификатор на основе эмбеддингов и политики доступа, и только после этого запрос попадает в генеративную модель. Качество оценивают не одной точностью, а вектором из трёх групп метрик — безопасность, задача и опыт, потому что маршрутизатор с точностью 94%, но уверенный в своих 6% ошибок, опаснее того, который знает о своих слабостях. Человеческая валидация платёжного агента на 111 диалогах дала общий результат 83%, но happy path показал 97%, а смена темы — только 43%, и этот разброс в 54 пункта не виден в одной цифре. Для автоматизации проверок используют LLM-судью, но его оценки оказались слишком щедрыми: на внутреннем проекте со 14 000 жалоб средняя оценка судьи была 0,97 против 0,83 у людей, а корреляция почти нулевая, поэтому модель судьи пришлось взять из другого семейства, чем у агента. Запуск идёт через теневое развёртывание и фича-флаги с поэтапным откатом, а все трассировки и метрики собираются в Comet, чтобы непрерывная оценка была частью production-инфраструктуры, а не разовым ноутбуком.

Практика

Что получишь
Поймёте, почему одной точности недостаточно для безопасности агента, какие метрики и проверки нужны в регулируемой среде и как поэтапно выкатывать генеративные ответы без «большого взрыва».
Первый шаг
Начните с теневого развёртывания: дайте новому агенту классифицировать реальные запросы, но отвечать оставьте прежней системе, чтобы собрать данные без риска для клиентов.
Цифры
  • —19 млн — столько розничных клиентов у NatWest, и именно это определяет цену ошибки агента
  • —100 000 — столько диалогов в день обрабатывает ассистент Kora
  • —83% — общий процент прохождения платёжного агента в ручной валидации, при 97% на happy path и 43% на смене темы
  • —14 000 — столько внутренних жалоб оценили одновременно человек и LLM-судья, чтобы сравнить их оценки
Честно
Прямой рекламы нет, но доклад построен вокруг платформы Comet как единого инструмента наблюдения, и её интерфейс показывается на экране; точных настроек и конфигураций в пересказе недостаточно для повторения — их придётся смотреть в записи. Результаты — внутренние данные NatWest, они не переносимы один в один, но подходы — да.
Если слова незнакомы — 9 терминов

Компоненты

6 шт.

Формат: разбор кейса · для продвинутых · уверенность разметки 0.9 · источник