К содержимому
Дайджест

KV-кэш как датчик атак на AI-агентов

AI Engineer·9 ноября 2026·7:12
можно прочитать понять, как устроено промо
Открыть на YouTube
Доклад основателя Intrinsec AI для разработчиков, которые сами разворачивают инференс-стек и хотят защитить агентов без чтения текста промптов.

Что в ролике

Если вы сами гоняете агентов на своём инференс-стеке, KV-кэш у вас уже есть, и автор предлагает использовать его не только для ускорения, но и как источник сигналов безопасности. Сейчас атаки вроде промпт-инъекций обычно отсекают внешними судьями и классификаторами на входах и выходах, но они слепы к тому, что уже прошло внутрь: модель всё равно превращает ввод в вычисления, а KV-кэш хранит эту запись. Схема из трёх шагов — выучить базовое распределение страниц KV-кэша под рабочую нагрузку, находить редкие аномальные страницы и при желании классифицировать их. Встраивать это можно прямо в инференс-движок через LMCache, NVIDIA Dynamo или подобный слой, либо читать уже сохранённые страницы в LMCache для поиска угроз. На примере голосового агента на Gemini 404B они взяли 72 обычных клипа в четырёх голосах и страницы по 16 токенов, а на тесте детектор нашёл скрытую инструкцию в другом голосе и показал, в какой части запроса аномалия. На текстовом агенте модель на 314 млрд параметров, развёрнутая вживую, дала около 7–8 осмысленных предупреждений из топ-10 алертов на бенчмарке AT Bench, а обученный на страницах KV-кэша классификатор объяснял типы сбоев. Главные сложности — модели и файнтюны меняются, у каждого агента свои координаты страниц, а 1256-токенный фрагмент модели на 1,34 млрд параметров весит около 40 мегабайт, поэтому нужна компрессия и единое пространство представлений.

Практика

Что получишь
Понимание, как смотреть на KV-кэш как на бесплатный источник сигналов безопасности и куда именно встраивать детектор аномалий в инференс-стеке.
Первый шаг
Снять базовую статистику страниц KV-кэша на своей рабочей нагрузке и посмотреть, какие страницы выбиваются из распределения.
Цифры
  • —72 обычных клипа в четырёх голосах — размер базовой выборки в кейсе голосового агента
  • —16 токенов — длина одной страницы KV-кэша в этом кейсе, выбранная для большего числа наблюдений
  • —7–8 из 10 — доля осмысленных алертов в топ-10 предупреждений на бенчмарке текстовых агентов
  • —40 мегабайт — вес KV-кэша для 1256-токенного фрагмента модели на 1,34 млрд параметров
Честно
Это доклад-питч основателя Intrinsec AI: в конце он прямо ищет команды, строящие собственный инференс-стек, под своё решение. Пошагового кода или готового инструмента в открытом доступе нет, показаны только результаты кейсов, а часть деталей, например название платформы для модели 314B, в аудио звучит неразборчиво.
Если слова незнакомы — 5 терминов

Связки из этого ролика

2 шт.

Компоненты

4 шт.

Формат: разбор · для продвинутых · уверенность разметки 0.9 · источник