К содержимому
Дайджест

Бесплатный GPU unlock: prefill быстрее на 62%

Digital Spaceport·26 октября 2026·5:44
нужен экран можно повторить промо пошагово
Открыть на YouTube
Практический разбор бесплатного патча GPU unlocker для NVIDIA 2000–4000 серий, который ускоряет prefill в локальном инференсе; для тех, кто сам запускает LLM на Linux или Proxmox.

Что в ролике

Автор на машине с четырьмя GPU (по названию — 3090) прогоняет 27B-модель BF16 в vLLM и снимает замеры prefill до и после разблокировки. До патча скорость prefill на контекстах 2K, 16K, 32K, 64K и 128K составила 1157, 1259, 1240, 1195 и 1114 токенов в секунду соответственно. Патч ставится через GPU unlocker, который меняет speed selector на 0x88888 и включает полную скорость BF16, а для системы с efi правится файл /etc/kernel/cmdline с добавлением флага и перезагрузкой. После перезагрузки проверка показывает 'GPUs are unlocked', и повторные замеры дают 1840, 2020, 2020, 1918 и 1769 токенов в секунду для тех же контекстов. Прирост особенно заметен на длинных контекстах: 128K вырос с 1114 до 1769 токенов в секунду, а 32K — с 1240 до 2020. Автор отмечает, что патч работает на 3090, 4090, Ada/Ampere, части 2000-й серии, включая 2080 Ti 22GB, но для 50-й серии разблокировщика пока нет. Он обещает выложить скрипт для замеров и обновлённый гайд по GPU на digitalspaceport.com и просит зрителей делиться своими числами.

Практика

Что получишь
Конкретную прибавку скорости prefill для локального инференса на NVIDIA 2000–4000 серий и последовательность установки патча с проверкой.
Первый шаг
Скачать GPU unlocker по ссылке в описании и на Linux или Proxmox с root-доступом установить deb-пакет, затем проверить, что выводится статус 'GPUs are unlocked'.
Цифры
  • —1157 → 1840 токенов/с — prefill на 2K до и после разблокировки
  • —1240 → 2020 токенов/с — prefill на 32K до и после
  • —1114 → 1769 токенов/с — prefill на 128K до и после
Честно
Автор ведёт канал и сайт digitalspaceport.com: скрипт замеров, обновлённый гайд по GPU и таблица цен/производительности лежат по его ссылкам в описании. Часть шагов показана только на экране (dpkg -i, правка /etc/kernel/cmdline, команда проверки), поэтому для повторения придётся смотреть видео. Патч требует root-доступа к Linux или Proxmox и перезагрузки хоста, а эффект подтверждён на 2000–4000 сериях; для 50-й серии разблокировщика ещё нет.
Если слова незнакомы — 5 терминов

Понадобится экран

Часть информации есть только на экране (код в терминале). Открыть на YouTube с 3:20.

Связки из этого ролика

2 шт.

Компоненты

3 шт.

Цитаты-доказательства

дословно из субтитров

Формат: пошаговый урок · для продвинутых · уверенность разметки 0.9 · источник