К содержимому
Дайджест

Скрытый лимит NVIDIA: кому реально поможет разблокировка

Kai·27 октября 2026·25:12
можно прочитать понять, как устроено
Открыть на YouTube
Разбор скрытого ограничения NVIDIA для владельцев GeForce-карт, которые запускают локальные модели и хотят понять, стоит ли ставить свежий модуль разблокировки.

Что в ролике

Маркетинговые 1 321 AI TOPS у RTX 4090 превращаются в реальные 165 из-за трёх последовательных делений: структурная разреженность, входная точность и замедленный FP32-аккумулятор в тензорных ядрах. Последнее деление — это не техническая необходимость, а две установки регистров, которые NVIDIA задокументировала в белой книге: у RTX 3090 FP16 с FP32-аккумулятором даёт 71 терафлопс против 142 в режиме FP16-аккумулятора, а у рабочей A6000 на том же чипе оба режима работают на полной скорости. Разработчик Zagira выложил на GitHub открытый модуль для Linux, который до загрузки драйвера переключает эти регистры, и за 9 дней появились порты для RTX 40 и 2080 Ti. В сыром бенчмарке матричных операций BF16 на 3090 Ti показатель вырос с 87,5 до 157,4 терафлопс, но в реальных задачах выигрыш зависит от типа вычислений. Для GGUF-моделей в Llama CPP, Ollama или LM Studio с квантованными 8-битными моделями модуль почти ничего не меняет: целочисленная математика не была затронута, а скорость записи токенов упирается в пропускную способность памяти. Реальную пользу получают сценарии с 16-битными вычислениями — vLLM, полноточная генерация изображений и видео, файнтюнинг и длинные контексты, где промпт на 96 000 токенов на 3090 при 375 Вт обработался за 71,4 секунды вместо 105,7. Отдельно автор показывает, что заниженный лимит мощности вредит сильнее: на 200 Вт запись шла 50 токенов в секунду, а на 250 Вт — 76,4, и при этом тратилось 3,97 джоуля на токен против 3,15. Модуль требует отключения Secure Boot, а в Windows ещё и BitLocker, и собран под конкретную плату и версию BIOS, поэтому автор советует сначала проверить свой сценарий и лимит мощности.

Практика

Что получишь
Понимание, почему коробочные TOPS не совпадают с реальной скоростью инференса и в каких задачах модуль разблокировки даёт заметный прирост. Для владельцев 16-битных рабочих нагрузок на Linux — конкретные цифры экономии времени на холодной загрузке контекста.
Первый шаг
Проверьте, в каком режиме работает ваша модель: если это квантованный GGUF в Ollama или LM Studio, модуль не нужен, а если vLLM с 16-битными вычислениями — сначала поднимите лимит мощности до 250 Вт и оцените разницу.
Цифры
  • —1 321 AI TOPS на коробке RTX 4090 против 165 реальных после трёх делений: структурная разреженность, входная точность и замедленный FP32-аккумулятор
  • —87,5 → 157,4 терафлопс BF16 на 3090 Ti в сыром микро-бенчмарке после разблокировки
  • —71,4 секунды вместо 105,7 — обработка промпта на 96 000 токенов на 3090 при 375 Вт
Честно
Автор не продвигает свои продукты или партнёрские ссылки, но подробной установочной инструкции нет — нужно самостоятельно читать код на GitHub. Модуль использует уязвимость в отладочной прошивке NVIDIA и требует отключения Secure Boot, а в Windows дополнительно BitLocker; сборка привязана к конкретной карте, плате и версии BIOS. Владельцам GGUF-моделей в Ollama или LM Studio модуль почти не поможет, и выигрыш в токенах в секунду там — шум.
Если слова незнакомы — 6 терминов

Связки из этого ролика

2 шт.

Компоненты

5 шт.

Формат: разбор · для продвинутых · уверенность разметки 0.85 · источник