К содержимому
Дайджест

Ошибка на $900 млн: 5 контролей для AI-агентов

AI Engineer·27 октября 2026·18:56
можно прочитать можно повторить
Открыть на YouTube
Запись доклада Джона Феминеллы из Two Sigma на AI Engineer: разбор реальной банковской ошибки и пять управляющих контролей для безопасного запуска AI-агентов в компании.

Что в ролике

Если вы даёте AI-агенту доступ к деньгам или продакшену, августовская ошибка Citibank — наглядный прецедент: вместо $8 млн процентов банк отправил 300 кредиторам Revlon весь основной долг, около $900 млн. Операторы Flexcube проигнорировали предупреждение о выходе денег, потому что процентный платёж действительно должен был уйти, а три одобряющих подтвердили транзакцию. Джон Феминелла из Two Sigma использует этот кейс как аргумент, что люди и агенты одинаково недетерминированы, поэтому безопасность и автономия не должны быть крайностями. Вместо песочниц с полными запретами или неисполнимых политик он предлагает пять контролей: реестр агентов, скоринг риска, заявленные инструменты, общие оценки и классификацию в рантайме. Реестр делает каждого агента видимым с первого дня, а скоринг направляет человеческую проверку только на высокорисковые случаи, не заставляя простого суммаризатора ждать недели. Агент сам объявляет нужные инструменты и получает доступ только к ним, поэтому research-суммаризатор может искать в вебе, а release-деployer — нет. Общие eval-библиотеки заменяют юнит-тесты для агентов, а классификатор в рантайме принимает рутинные решения, отправляя человеку только неоднозначные запросы. Итоговая мысль: тормоза нужны не чтобы запретить движение, а чтобы ехать быстро и безопасно, как у автомобиля.

Практика

Что получишь
Практическую рамку из пяти контролей, которую можно применить в своей команде: от реестра агентов до рантайм-классификации запросов. Поймёте, как давать агентам автономию без потери управляемости.
Первый шаг
Составить реестр всех уже запущенных агентов: кто владелец, какие инструменты и endpoints использует агент.
Цифры
  • —$900 млн — столько Citibank по ошибке отправил кредиторам вместо $8 млн процентов
  • —$8 млн — сумма плановой выплаты процентов Revlon, которая превратилась в $900 млн основного долга
  • —300 кредиторов — столько сторон получили ошибочный платёж
  • —5 контролей — реестр, скоринг риска, заявленные инструменты, общие eval и рантайм-классификация
Честно
Автор не продвигает продукт или курс: это конференционный доклад сотрудника Two Sigma, его личное мнение. Но это концептуальный разбор, а не туториал — схемы транзакции Flexcube, примеры политик и точные настройки контролей видны только на слайдах, их придётся пересматривать в записи. Для повторения в своей компании не хватает кода и конкретных конфигураций.
Если слова незнакомы — 5 терминов

Компоненты

5 шт.

Формат: разбор кейса · для практикующих · уверенность разметки 0.9 · источник