Ошибка на $900 млн: 5 контролей для AI-агентов

Что в ролике
Если вы даёте AI-агенту доступ к деньгам или продакшену, августовская ошибка Citibank — наглядный прецедент: вместо $8 млн процентов банк отправил 300 кредиторам Revlon весь основной долг, около $900 млн. Операторы Flexcube проигнорировали предупреждение о выходе денег, потому что процентный платёж действительно должен был уйти, а три одобряющих подтвердили транзакцию. Джон Феминелла из Two Sigma использует этот кейс как аргумент, что люди и агенты одинаково недетерминированы, поэтому безопасность и автономия не должны быть крайностями. Вместо песочниц с полными запретами или неисполнимых политик он предлагает пять контролей: реестр агентов, скоринг риска, заявленные инструменты, общие оценки и классификацию в рантайме. Реестр делает каждого агента видимым с первого дня, а скоринг направляет человеческую проверку только на высокорисковые случаи, не заставляя простого суммаризатора ждать недели. Агент сам объявляет нужные инструменты и получает доступ только к ним, поэтому research-суммаризатор может искать в вебе, а release-деployer — нет. Общие eval-библиотеки заменяют юнит-тесты для агентов, а классификатор в рантайме принимает рутинные решения, отправляя человеку только неоднозначные запросы. Итоговая мысль: тормоза нужны не чтобы запретить движение, а чтобы ехать быстро и безопасно, как у автомобиля.
Практика
- Что получишь
- Практическую рамку из пяти контролей, которую можно применить в своей команде: от реестра агентов до рантайм-классификации запросов. Поймёте, как давать агентам автономию без потери управляемости.
- Первый шаг
- Составить реестр всех уже запущенных агентов: кто владелец, какие инструменты и endpoints использует агент.
- Цифры
- —$900 млн — столько Citibank по ошибке отправил кредиторам вместо $8 млн процентов
- —$8 млн — сумма плановой выплаты процентов Revlon, которая превратилась в $900 млн основного долга
- —300 кредиторов — столько сторон получили ошибочный платёж
- —5 контролей — реестр, скоринг риска, заявленные инструменты, общие eval и рантайм-классификация
- Честно
- Автор не продвигает продукт или курс: это конференционный доклад сотрудника Two Sigma, его личное мнение. Но это концептуальный разбор, а не туториал — схемы транзакции Flexcube, примеры политик и точные настройки контролей видны только на слайдах, их придётся пересматривать в записи. Для повторения в своей компании не хватает кода и конкретных конфигураций.
Если слова незнакомы — 5 терминов
- агентпрограмма, которая сама выполняет действия и обращается к системам
- реестр агентовединая база, где видны владелец, инструменты и endpoints каждого агента
- скоринг рискаоценка опасности агента по его инструментам и доступам, определяющая уровень проверки
- evalавтоматическая проверка качества ответов агента, аналог юнит-тестов для моделей
- классификатормодель, которая решает, пропустить запрос, отклонить или отправить человеку
Компоненты
5 шт.Формат: разбор кейса · для практикующих · уверенность разметки 0.9 · источник