Голосовой агент в финтехе: как не задать лишний вопрос

Что в ролике
Когда голосовой агент в регулируемом финтехе задаёт лишний вопрос, это не просто плохой сервис, а нарушение правил. В Upstart автоматизировали проверочные звонки для 10% заявителей, которым не вынесли мгновенное решение: агент задаёт три вопроса о доходах, целях кредита и обязательствах, но сначала подтверждает личность. Правила зависят от ответа: если деньги нужны на медицинские цели, сумму спрашивать нельзя, а при поездке на выпускной нужно уточнить, чей это выпускной, иначе назначение средств останется неясным. Проверку сначала вели в Google-таблице, пока хаотично растущие колонки не заставили выстроить отдельный процесс. После каждого звонка LLM-судья даёт оценку соблюдения правил с объяснением, а человек проверяет его вывод; вначале человек и судья совпадали лишь в 33% случаев. Разбор расхождений показал, что часть знаний была устной и не записана ни в агенте, ни в инструкциях для людей, поэтому их закодировали и за счёт улучшения судьи подняли согласие до 92%. Со стороны Coval этот процесс превращён в цикл: метрики делятся на достижение цели, соблюдение шагов и качество разговора, затем мониторятся живые звонки, а подозрительные уходят в очереди на человеческую проверку. Исправления проверяют голосовыми симуляциями с шумами, акцентами и перебиваниями, и только после этого выпускают в продакшн, а изменения в финтехе всегда проходят через подтверждение инженерами или комплаенсом.
Практика
- Что получишь
- Схему, как выстроить оценку голосового агента от метрик и человеческой проверки до симуляций, и конкретный пример роста согласованности LLM-судьи с людьми с 33% до 92%.
- Первый шаг
- Начните с простого списка метрик и человеческой разметки нескольких звонков, чтобы потом превратить критерии ревьюеров в автоматические проверки.
- Цифры
- —10% — доля заявителей Upstart, которым нужно пройти проверочный звонок вместо мгновенного решения
- —3 — столько вопросов задаёт агент: о доходах, целях кредита и других обязательствах
- —33% и 92% — согласие человека и LLM-судьи по соблюдению правил в начале и после доработок
- —90% — заявителей получают решение мгновенно, без звонка
- Честно
- Это запись доклада, а не туториал: готового кода и доступа к данным нет. Брук Хопкинс — основатель Coval и показывает интерфейс своей платформы, так что часть процесса повторяется только с этим инструментом или аналогом. Конкретные значения метрик, очередей и настроек в демо видны только на экране, в пересказ они не попали.
Если слова незнакомы — 4 терминов
- LLM-судьяпрограмма, которая оценивает расшифровку звонка по заданным критериям и пишет объяснение
- комплаенсслужба контроля соблюдения законов и внутренних правил
- голосовая симуляцияавтоматический звонок в тестовую среду, где проверяют поведение агента с шумами, акцентами и перебиваниями
- продакшнбоевая среда, где агент общается с реальными пользователями
Связки из этого ролика
2 шт.- LLM judge
- voice-to-voice simulation
Компоненты
2 шт.Формат: разбор кейса · для бизнеса · уверенность разметки 0.85 · источник