Локальный ИИ не так приватен: пять слоёв угроз

Что в ролике
Если вы год держали локальные модели ради приватности, главный сдвиг такой: угроза не в том, уходят ли ваши промпты в облако, а в том, что чужой файл модели может заставить ваш собственный агент сделать то, о чём вы не просили. Автор раскладывает локальный стек на пять слоёв — скачанные веса, чат-шаблон, раннер, сетевой порт и инструменты агента — и показывает, что сканеры проверяют только первый. Например, чат-шаблон в GGUF пишется на Jinja и исполняется при каждом сообщении, а исследователи Pillar Security прятали в нём инструкции, которые без триггера не проявлялись, но с фразой-паролем обрушивали точность с 90 до 15 процентов и подменяли ссылки. Поддельный репозиторий privacy filter набрал 244 000 скачиваний и тащил стилер через скрипт из readme, а в раннере Ollama находили Bleeding Llama, из-за которой файл модели мог вернуть кусок heap-памяти, включая переменные окружения и ключи. Сеть добавляет свой риск: 175 108 серверов Ollama отвечали в интернет без аутентификации, и почти половина из них отдавала наружу tool calling, то есть возможность дёргать инструменты. Project Discovery отравили 1 процент обучающих примеров у модели на 1,5 млрд параметров, и фраза bonsoir Elliot заставляла агента отправлять .env-файл на удалённый сервер в 50 из 50 прогонов. Вывод — не бежать в облако, а вернуть контроль: держать порт на локальной петле, обновлять раннер, ставить только официальные веса для агентов, убрать секреты из рабочей папки и разделить права на запуск команд и сеть.
Практика
- Что получишь
- Понятную модель из пяти слоёв и список конкретных проверок, чтобы локальный агент не угробил ваши секреты или систему.
- Первый шаг
- Обновить раннер до актуальной версии и проверить, что он слушает только 127.0.0.1, а не 0.0.0.0.
- Цифры
- —244 000 скачиваний набрал поддельный репозиторий privacy filter, прежде чем его разоблачили
- —175 108 серверов Ollama без аутентификации нашли за 293 дня сканирования в 130 странах
- —1 процент обучающих примеров (15 из 1500) потребовался Project Discovery, чтобы внедрить триггер в модель на 1,5 млрд параметров
- —50 из 50 прогонов модель отправляла .env-файл по фразе bonsoir Elliot после отравления
- Честно
- Автор просит подписаться на канал и зовёт в комментарии, но своих курсов или платных материалов не продвигает. Все описанные атаки — это исследования и proof-of-concept, публичных инцидентов с отравленными шаблонами или бэкдорами в реальной эксплуатации пока нет; поддельный репозиторий privacy filter был обычным стилером, спрятанным в инструкциях.
Если слова незнакомы — 7 терминов
- агентпрограмма, которая сама вызывает инструменты и выполняет действия по инструкции модели
- GGUFформат файла весов модели, в котором хранятся не код, а тензоры и метаданные, включая чат-шаблон
- чат-шаблоншаблон на Jinja, который собирает системный промпт, сообщения и вызовы инструментов перед отправкой в модель
- Jinjaязык шаблонов, позволяющий вставлять логику и исполнять код при рендеринге
- раннерпрограмма вроде Ollama или LM Studio, которая читает файл модели, открывает порт и отдаёт ответы
- heap-памятьоперативная память процесса, где хранятся переменные окружения, ключи и текущие данные
- tool callingспособность модели запрашивать вызов внешних инструментов и передавать им параметры
Связки из этого ролика
3 шт.- Ollama + Docker
- Ollama + Tailscale
- local AI stack (Ollama + llama.cpp + GGUF)
Компоненты
9 шт.Формат: разбор · для практикующих · уверенность разметки 0.82 · источник