Как заставить финансового агента показывать ход работы

Что в ролике
Доклад адресован тем, кто строит агентов для финансовых решений, где ошибка стоит дорого, и разбирает ключевой риск: если агент ошибётся, на вопрос «почему ты так решил?» часто нечего ответить, кроме «модель так сказала». На примере банковской сверки с клиентом, у которого по книгам 2,7 млн, а по банку 2,9 млн и 41 расхождение, автор показывает четыре обязательных контроля. Первый — авторизация: агент не должен перезаписывать строки, которые уже проверил человек, даже если у него появились новые данные, иначе подпись рецензента перестаёт соответствовать тому, что он видел. Второй — контроль выполнения: нужен журнал шагов с идентификаторами, чтобы при расхождении результатов за разные годы можно было перезапустить отдельный шаг и найти точное место расхождения, а не весь прогон целиком. Третий — происхождение доказательств: ссылка на документ должна быть не строкой, а идентификатором конкретной версии с хешем, чтобы исключить подмену и разрешить использовать только доказательства напрямую от банка. Четвёртый — целостность оценки: проверочный датасет сам может содержать ошибки, и головная цифра 97% скрывает, что 4 из 9 промахов — дефекты датасета, а 12 примеров устарели из-за изменения методологии. В конце автор напоминает, что эскалации человеку должны быть редкими (примерно 20% случаев), конкретными и не создавать автоматического согласия, чтобы контроли, а не модель, были основой защиты решения.
Практика
- Что получишь
- Понятный набор из четырёх контролей, по которому можно спроектировать или проверить финансового агента так, чтобы его вывод можно было защитить перед аудитом или регулятором.
- Первый шаг
- Взять один агентский сценарий с денежным решением и пройти по списку: что агент может перезаписывать, какие шаги логируются, откуда берёт доказательства и насколько честна ваша метрика.
- Цифры
- —$200 млн против $5 млн — сколько брокерская фирма Peregrine Financial Group заявляла на бумаге и сколько реально было в банке перед крахом
- —2,9 млн и 2,7 млн — суммы по банку и по книгам в учебном примере банковской сверки
- —41 — количество расхождений в этом примере
- —97% — головная оценка агента, за которой скрылись 4 ошибки в самом датасете и 12 устаревших примеров
- Честно
- Доклад записан на конференции AI Engineer, часть примеров показывается на слайдах (интерфейс и конкретные поля журнала шагов), поэтому для повторения деталей придётся смотреть запись, а не только текст. Автор работает в Fieldguide и в конце упоминает, что эти контроли — то, над чем работает его компания, и что они нанимают; отдельного продукта или курса он не продаёт. В транскрипте нет готового кода или чек-листа, только принципы.
Если слова незнакомы — 4 терминов
- агентпрограмма, которая сама выполняет шаги задачи и принимает решение вместо человека
- хешкороткая цифровая подпись содержимого файла, по которой видно, менялся ли документ
- датасетнабор проверочных примеров с известными правильными ответами
- эскалацияпередача случая человеку, когда агент не должен решать сам
Формат: разбор · для продвинутых · уверенность разметки 0.85 · источник