К содержимому
Дайджест

Сосед по GPU слышит вашу модель: тайминги выдают всё

AI Engineer·12 октября 2026·13:21
текст даёт основное понять, как устроено промо
Открыть на YouTube
Доклад о side-channel атаке на shared GPU: как по таймингам определить модель и нагрузку соседа и что с этим делать.

Что в ролике

Если вы арендуете GPU в облаке вместе с другими, сосед может узнать, какую LLM вы запускаете, с какой скоростью она генерирует и чем занята, не касаясь данных — только по таймингам. Бранислав Брзак из Stealthium показывает атаку на H100 с MIG: изоляция вычислений и памяти есть, но барьеры памяти касаются всего GPU, и разница в 3 мкс уже утекает. Метод не требует root или эксплойтов: атакующий читает свой буфер и замеряет время каждые 5 мкс; модель на 8 млрд параметров опознаётся по числу слоёв с точностью 97%, а скорость декодирования — 99,3%. По одному токену видно 39 всплесков, и пики слоёв позволяют отличить Llama 3 и R1 Distill, даже если архитектура почти не менялась. Через NVLink без MIG, когда жертва использует tensor parallelism на двух H100, атакующий с третьей карты в том же сервере по задержке 890 нс против 300 мкс считает токены и опознаёт модель с точностью 79,2% при случайном угадывании 20%. Тот же канал по таймингам за 5 секунд определяет тип нагрузки — проза, код, JSON или retrieval — 31 из 40 полусекундных вердиктов верны, а целые ответы классифицируются мажоритарным голосованием. Для защиты нужно не ставить ненадёжных арендаторов на соседние MIG-слайсы, знать, что MIG запрещает tensor parallelism, и мониторить GPU: продукт Stealthium заметил атаку по 3000 перезапускам одного ядра и 1 КБ переданных данных.

Практика

Что получишь
Поймёте, какие данные утекают при аренде shared GPU, и какие меры защиты — размещение слайсов, выбор между MIG и NVLink, мониторинг GPU — снижают риск.
Первый шаг
Проверьте, кто ещё арендует тот же физический GPU, и не ставьте чувствительные модели на соседние MIG-слайсы.
Цифры
  • —97% — точность определения модели и числа слоёв по таймингам на MIG
  • —99,3% — точность восстановления скорости декодирования
  • —79,2% — точность определения модели через NVLink при случайном угадывании 20%
  • —31 из 40 — верных полусекундных вердиктов о типе нагрузки
Честно
Готового кода или инструкций в ролике нет: это доклад с результатами, а не туториал. Автор — сотрудник Stealthium, и в конце он показывает, что их продукт мониторит такие атаки, это реклама. Сама атака опирается на исследование Behind Bars (Usenix Security), а не является открытием автора.
Если слова незнакомы — 3 терминов

Связки из этого ролика

6 шт.

Компоненты

4 шт.

Формат: разбор · для продвинутых · уверенность разметки 0.8 · источник