Сосед по GPU слышит вашу модель: тайминги выдают всё

Что в ролике
Если вы арендуете GPU в облаке вместе с другими, сосед может узнать, какую LLM вы запускаете, с какой скоростью она генерирует и чем занята, не касаясь данных — только по таймингам. Бранислав Брзак из Stealthium показывает атаку на H100 с MIG: изоляция вычислений и памяти есть, но барьеры памяти касаются всего GPU, и разница в 3 мкс уже утекает. Метод не требует root или эксплойтов: атакующий читает свой буфер и замеряет время каждые 5 мкс; модель на 8 млрд параметров опознаётся по числу слоёв с точностью 97%, а скорость декодирования — 99,3%. По одному токену видно 39 всплесков, и пики слоёв позволяют отличить Llama 3 и R1 Distill, даже если архитектура почти не менялась. Через NVLink без MIG, когда жертва использует tensor parallelism на двух H100, атакующий с третьей карты в том же сервере по задержке 890 нс против 300 мкс считает токены и опознаёт модель с точностью 79,2% при случайном угадывании 20%. Тот же канал по таймингам за 5 секунд определяет тип нагрузки — проза, код, JSON или retrieval — 31 из 40 полусекундных вердиктов верны, а целые ответы классифицируются мажоритарным голосованием. Для защиты нужно не ставить ненадёжных арендаторов на соседние MIG-слайсы, знать, что MIG запрещает tensor parallelism, и мониторить GPU: продукт Stealthium заметил атаку по 3000 перезапускам одного ядра и 1 КБ переданных данных.
Практика
- Что получишь
- Поймёте, какие данные утекают при аренде shared GPU, и какие меры защиты — размещение слайсов, выбор между MIG и NVLink, мониторинг GPU — снижают риск.
- Первый шаг
- Проверьте, кто ещё арендует тот же физический GPU, и не ставьте чувствительные модели на соседние MIG-слайсы.
- Цифры
- —97% — точность определения модели и числа слоёв по таймингам на MIG
- —99,3% — точность восстановления скорости декодирования
- —79,2% — точность определения модели через NVLink при случайном угадывании 20%
- —31 из 40 — верных полусекундных вердиктов о типе нагрузки
- Честно
- Готового кода или инструкций в ролике нет: это доклад с результатами, а не туториал. Автор — сотрудник Stealthium, и в конце он показывает, что их продукт мониторит такие атаки, это реклама. Сама атака опирается на исследование Behind Bars (Usenix Security), а не является открытием автора.
Если слова незнакомы — 3 терминов
- MIGрежим Nvidia, разрезающий один GPU на изолированные части с отдельными вычислениями и памятью
- NVLinkвысокоскоростное соединение между GPU внутри одного сервера
- tensor parallelismспособ распределить вычисления модели по нескольким GPU, когда каждый считает свою часть тензоров
Связки из этого ролика
6 шт.- Llama 3
- Llama 3.1
- DeepSeek R1
- GLM
- GPT
- Quantri
Компоненты
4 шт.Формат: разбор · для продвинутых · уверенность разметки 0.8 · источник