К содержимому
Дайджест

Нецензурируемые локальные модели: как выбрать работающую

Kai·15 ноября 2026·29:40
текст даёт основное можно повторить пошагово
Открыть на YouTube
Практический разбор нецензурируемых локальных моделей для тех, кто хочет запускать их на своей видеокарте и получать ответы без цензуры, но не готов выбирать наугад.

Что в ролике

Автор столкнулся с отказом ИИ написать клон Pac-Man и пошёл искать нецензурируемые локальные модели, у которых карточки на Hugging Face хвастаются нулём отказов из 465, но этот показатель почти не влияет на реальную пригодность. В основе большинства таких сборок лежит инструмент Heretic с 37 000 звёзд на GitHub и метод «obliteration» — математическое вычитание направления отказа из весов модели, однако карточки не говорят, насколько аккуратно это сделано. Разбор Натана Сапуэлла прогнал базовую Qwen 3.8 27B и восемь нецензурируемых версий на RTX 5090 через 13 задач и HarmBench из 400 вредных запросов: базовая отказала в 381 случае, победитель Orco Router — всего в 2, но у него 38% ответов так и не завершились. Причина в том, что «думающая» модель тратит лимит токенов на внутренний черновик, а Ollama по умолчанию даёт только 4096 токенов контекста на картах до 24 ГБ, поэтому правильная настройка OLLAMA_CONTEXT_LENGTH от 16000 часто важнее выбора модели. Агрессивное снятие отказов бьёт по правдивости: сборка LLM Fan 46 потеряла 6,5 балла по TruthfulQA, а на других моделях потери доходили до 14 баллов, что опасно для вопросов о лекарствах и праве. Скачивания не помогают: у самой популярной сборки Huihui 4 млн загрузок и 44% пустых ответов, тогда как победитель Orco Router имеет 300 тыс. По объёму видеопамяти практичны такие сборки: 8 ГБ — Gemma 4E4B от coder3101, 12 ГБ — Gemma 412B от Trevor JS, 16 ГБ — Qwen от Orco Router в Q3, 24 ГБ — Q4, 32 ГБ — Q6, а вместо доверия карточкам автор советует прогнать 20 своих запросов при контексте не менее 16000 и считать пустые ответы.

Практика

Что получишь
Понятный список моделей под 8, 12, 16, 24 и 32 ГБ видеопамяти и главный параметр, который нужно исправить, чтобы локальная модель не выдавала пустые ответы.
Первый шаг
Перед запуском любой нецензурируемой модели выставить переменную OLLAMA_CONTEXT_LENGTH не меньше 16000 и проверить фактический размер контекста командой ollama ps.
Цифры
  • —38% — доля ответов победителя Orco Router, которые так и не завершились в тесте Сапуэлла
  • —4096 токенов — контекст по умолчанию в Ollama на картах до 24 ГБ, из-за которого модель часто выдаёт пустой ответ
  • —4 млн загрузок у самой популярной сборки Huihui против 300 тыс. у победителя Orco Router
  • —16000 токенов — минимальный контекст, который автор советует выставить перед запуском
Честно
Автор не продаёт курс и не упоминает спонсоров, но в конце просит подписаться на канал. Сравнительные данные взяты из чужого теста Натана Сапуэлла на одной RTX 5090, а не из собственных полных прогонов автора, поэтому на другой видеокарте цифры могут отличаться. Часть настроек (переменная OLLAMA_CONTEXT_LENGTH, команда ollama ps, флаги KV-кэша) показана на экране, но в тексте даны ключевые значения.
Если слова незнакомы — 5 терминов

Связки из этого ролика

6 шт.

Компоненты

5 шт.

Формат: пошаговый урок · для практикующих · уверенность разметки 0.85 · источник