Нецензурируемые локальные модели: как выбрать работающую

Что в ролике
Автор столкнулся с отказом ИИ написать клон Pac-Man и пошёл искать нецензурируемые локальные модели, у которых карточки на Hugging Face хвастаются нулём отказов из 465, но этот показатель почти не влияет на реальную пригодность. В основе большинства таких сборок лежит инструмент Heretic с 37 000 звёзд на GitHub и метод «obliteration» — математическое вычитание направления отказа из весов модели, однако карточки не говорят, насколько аккуратно это сделано. Разбор Натана Сапуэлла прогнал базовую Qwen 3.8 27B и восемь нецензурируемых версий на RTX 5090 через 13 задач и HarmBench из 400 вредных запросов: базовая отказала в 381 случае, победитель Orco Router — всего в 2, но у него 38% ответов так и не завершились. Причина в том, что «думающая» модель тратит лимит токенов на внутренний черновик, а Ollama по умолчанию даёт только 4096 токенов контекста на картах до 24 ГБ, поэтому правильная настройка OLLAMA_CONTEXT_LENGTH от 16000 часто важнее выбора модели. Агрессивное снятие отказов бьёт по правдивости: сборка LLM Fan 46 потеряла 6,5 балла по TruthfulQA, а на других моделях потери доходили до 14 баллов, что опасно для вопросов о лекарствах и праве. Скачивания не помогают: у самой популярной сборки Huihui 4 млн загрузок и 44% пустых ответов, тогда как победитель Orco Router имеет 300 тыс. По объёму видеопамяти практичны такие сборки: 8 ГБ — Gemma 4E4B от coder3101, 12 ГБ — Gemma 412B от Trevor JS, 16 ГБ — Qwen от Orco Router в Q3, 24 ГБ — Q4, 32 ГБ — Q6, а вместо доверия карточкам автор советует прогнать 20 своих запросов при контексте не менее 16000 и считать пустые ответы.
Практика
- Что получишь
- Понятный список моделей под 8, 12, 16, 24 и 32 ГБ видеопамяти и главный параметр, который нужно исправить, чтобы локальная модель не выдавала пустые ответы.
- Первый шаг
- Перед запуском любой нецензурируемой модели выставить переменную OLLAMA_CONTEXT_LENGTH не меньше 16000 и проверить фактический размер контекста командой ollama ps.
- Цифры
- —38% — доля ответов победителя Orco Router, которые так и не завершились в тесте Сапуэлла
- —4096 токенов — контекст по умолчанию в Ollama на картах до 24 ГБ, из-за которого модель часто выдаёт пустой ответ
- —4 млн загрузок у самой популярной сборки Huihui против 300 тыс. у победителя Orco Router
- —16000 токенов — минимальный контекст, который автор советует выставить перед запуском
- Честно
- Автор не продаёт курс и не упоминает спонсоров, но в конце просит подписаться на канал. Сравнительные данные взяты из чужого теста Натана Сапуэлла на одной RTX 5090, а не из собственных полных прогонов автора, поэтому на другой видеокарте цифры могут отличаться. Часть настроек (переменная OLLAMA_CONTEXT_LENGTH, команда ollama ps, флаги KV-кэша) показана на экране, но в тексте даны ключевые значения.
Если слова незнакомы — 5 терминов
- obliterationоперация вычитания «направления отказа» из весов модели, убирающая отказы цензуры
- думающая модельмодель, которая перед ответом пишет внутренний черновик рассуждений, расходующий лимит токенов
- контекстобъём текста в токенах, который модель может удерживать в памяти за один запрос
- TruthfulQAтест, проверяющий, верит ли модель популярным мифам и заблуждениям
- Hugging Faceплатформа, где выкладывают открытые модели и карточки с их характеристиками
Связки из этого ролика
6 шт.- Qwen 3.8 27B
- Gemma 4
- DeepSeek V4 Pro
- Ollama
- llama.cpp
- Hugging Face
Компоненты
5 шт.Формат: пошаговый урок · для практикующих · уверенность разметки 0.85 · источник