Obliterated-модели: убрать отказы и запустить без KYC

Что в ролике
Если обычные Claude и GPT отказывают даже в тексте песни, а для проверки безопасности своего софта нужна модель без отказов, автор показывает, как устроены и как запускаются obliterated-модели. Отказы добавляются поверх уже обученных знаний на этапах fine-tuning и RLHF, а у open weights-моделей вроде DeepSeek, Qwen, Llama, Kimi и GLM можно вычислить направление отказа по активациям нейронов и стереть его из весов. Автор ссылается на исследование 2024 года, где отказ оказался одним направлением в модели, поэтому стирание не делает модель глупее: у obliterated DeepSeek доля отказов упала со 100% до 2%. Есть три способа снять ограничения: джейлбрейк промптом, дообучение на спорных данных и хирургическое стирание направления отказа, а GitHub-репозиторий heretic автоматизирует последний вариант одной командой и набрал 37 000 звёзд. Для запуска без своего железа он советует API без KYC, например Venice с DeepSeek V4 Flash 1017, а локально — скачивать obliterated-модели с Hugging Face и запускать в Ollama или LM Studio. Правило подбора железа простое: 0,6 ГБ VRAM на 1 млрд параметров, поэтому 8 ГБ хватает на 8B-модель при 40–60 токенах в секунду, а для флагманских 600–800B нужны Mac Studio M5 Ultra на 512 ГБ за 25 000 долларов или несколько DGX Spark. Главный сценарий для бизнеса — «взломай себя первым»: прогнать obliterated-модель по своей кодовой базе параллельно с frontier-моделями, чтобы найти дыры, которые закрытые модели не трогают.
Практика
- Что получишь
- Понять, чем obliterated-модели отличаются от обычных, и получить конкретные пути запуска: через API без KYC, локально на своём железе или на арендованных GPU.
- Первый шаг
- Выберите на Hugging Face obliterated-модель под объём вашей VRAM (примерно 0,6 ГБ на 1 млрд параметров) и запустите её через Ollama.
- Цифры
- —37 000 звёзд — столько набрал GitHub-репозиторий heretic, автоматизирующий удаление отказов
- —100% до 2% — настолько упала доля отказов у obliterated-версии DeepSeek, по словам автора
- —0,6 ГБ VRAM на 1 млрд параметров — ориентир для подбора локальной модели
- —25 000 долларов — минимальная цена Mac Studio M5 Ultra с 512 ГБ памяти, которую автор называет лучшей покупкой для локального запуска
- Честно
- Видео содержит спонсорскую интеграцию PostHog и ближе к концу рекламирует собственный открытый проект автора CloudRoom, который он называет лучшим AI-IDE. Предыдущий ролик на эту тему был удалён YouTube, поэтому автор не показывает рискованные запросы и модели в действии на опасных примерах. Часть API для obliterated-моделей требует KYC и может оказаться honeypot, работать с ними нужно осторожно; для повторения нужны open weights-модели и подходящее железо или облачные GPU.
Если слова незнакомы — 8 терминов
- obliteratedмодель с удалёнными отказами, отвечает на любой запрос
- fine-tuningдообучение модели на дополнительных данных
- RLHFобучение с подкреплением на оценках людей, добавляет отказы
- open weightsмодель с открытыми весами, которые можно скачать и менять
- APIинтерфейс для запуска модели на чужом сервере
- KYCпроверка личности, часто с паспортом или картой
- VRAMпамять видеокарты, в которой должна поместиться модель
- джейлбрейкобход ограничений через хитрый промпт или спецсимволы
Связки из этого ролика
1 шт.- Ollama + Hugging Face
Компоненты
13 шт.Формат: пошаговый урок · для практикующих · уверенность разметки 0.85 · источник