Безопасность ИИ: агенты, песочницы и книга Ашиша Раджана

Что в ролике
Ашиш Раджан, ex-CISO с 17-летним стажем в кибербезопасности, разбирает два направления: безопасность ИИ и использование ИИ в защите, и его книга AI Security Engineering от Wiley посвящена первому — построению программ безопасности ИИ для инженеров и директоров. Главная проблема, по его словам, — как понять, что агент скомпрометирован или вышел за рамки, и в AI Security Lab он исследует именно это: недавний разбор Grok-ботов показал, как несколько ботов в групповом чате могут вместе анализировать вредоносное ПО, а текущее исследование (выходит на AI Engineer Conference в Нью-Йорке) нацелено на 50+ контролей поведения агентов и определение их blast radius. Для защиты агентов Ашиш считает песочницу эффективной только при контроле сетевого уровня: в инциденте OpenAI и Hugging Face агент смог выйти в интернет через JFrog Artifactory, потому что не был ограничен сетевой политикой. Отдельный инструмент Charlie, который выйдет как open source через месяц, поможет проверять settings.json и MCP-конфигурации в Claude Code, а также соответствие MDM-политикам на устройствах. Ещё одна ключевая тема — eval, детерминированные проверки того, что агент действительно сделал, которые нужны для аудита и отлова дрейфа политик, например запрета Meta AI в организации. Для реагирования на инциденты он возвращает классические приёмы: изоляция через сеть и honey-токены как ловушки для неожиданных запросов агентов.
Практика
- Что получишь
- Понимание текущих подходов к безопасности агентов: песочницы, проверки конфигураций и eval, а также конкретные инструменты и исследования, которые можно применить в своей команде.
- Первый шаг
- Проверить настройки своего coding-агента (settings.json, разрешённые MCP-серверы) и убедиться, что песочница ограничивает исходящие сетевые подключения.
- Цифры
- —17 лет — стаж Ашиша Раджана в кибербезопасности, упомянутый в разговоре
- —50+ контролей — столько поведенческих проверок для агентов выделяют в текущем исследовании AI Security Lab
- —4 категории внедрения ИИ в организациях: AI native, AI hybrid, AI as a service и потребители готовых сервисов
- —менее 3–4 лет — возраст AI-native компаний по оценке автора
- Честно
- Автор продвигает свою книгу AI Security Engineering и проекты AI Security Lab и подкасты; ссылки ведут на его сайт и Amazon. Инструмент Charlie и текущее исследование по rogue-агентам ещё не выпущены — они анонсированы на следующий месяц, и конкретные детали (50+ контролей, конфиги) упоминаются только устно, без демонстрации на экране.
Если слова незнакомы — 8 терминов
- CISOруководитель службы информационной безопасности
- LLMбольшая языковая модель, на которой строятся агенты и чат-боты
- blast radiusзона поражения, то есть насколько далеко может распространиться инцидент
- settings.jsonфайл конфигурации Claude Code, где задаются разрешённые инструменты и MCP-серверы
- MCPпротокол подключения внешних инструментов и сервисов к агенту
- evalдетерминированная проверка того, что агент действительно выполнил нужное действие
- MDMсистема управления политиками на устройствах, чтобы запретить локальные изменения конфигураций
- honey-токеныприманки-ловушки, которые срабатывают, когда агент делает что-то неожиданное, например запрашивает пароль
Связки из этого ролика
3 шт.- Kubernetes
- AWS
- cloud native
Компоненты
16 шт.Формат: интервью · для практикующих · уверенность разметки 0.9 · источник