К содержимому
Дайджест

27B-модель с контекстом 100K на одной RTX 4080

The Stack·6 октября 2026·15:27
текст даёт основное можно повторить
Открыть на YouTube
Разбор кастомного движка NInfer 4080, который позволяет запустить 27-миллиардную модель с контекстом 100 000 токенов на одной 16-гигабайтной RTX 4080, для владельцев этой карты и тех, кто следит за оптимизацией инференса.

Что в ролике

Если у вас есть RTX 4080 с 16 ГБ, на ней можно запустить 27-миллиардную модель Qwen 27B со 100-тысячным контекстом — для этого разработчик Roofkid собрал движок NInfer 4080 и сжал веса до 3 бит методом GSQ от ISTA, получив файл на 12,4 ГБ. Память для истории разговора сжимается примерно до 2 ГБ вместо стандартных 3,5 ГБ, поэтому карта загружается с запасом меньше гигабайта. Чтение промпта на полной длине 100 000 токенов занимает около 40 секунд, скорость падает с 2720 токенов в секунду на коротких текстах до 1970 на длинных. Пиковая скорость записи 262 токена в секунду получена на повторяющемся бенчмарке, где все догадки вспомогательной модели принимались, а на реальном кодинге движок выдал 136 токенов в секунду, в повседневной прозе около 100. Качество по ограниченным тестам не просело: 3-битная версия набрала 100 баллов на AIM 2025 и 91% на GPQ8 Diamond против 90% у полной модели, но это одиночные прогоны. На той же RTX 4080 NInfer читает стотысячный промпт за 1970 токенов в секунду против 143 у llama cpp, а на записи сравнивать сложнее, так как замеры проводились разными методами. Сборка работает только на RTX 4080, а разработчик потратил на порт около 2 миллиардов токенов и 13 долларов API, гоняя DeepSeek V4,1 Flash в агенте Pi.

Практика

Что получишь
Поймёте, за счёт чего 27B-модель помещается в 16 ГБ и какие скорости реальны, а не взяты из заголовка. Если у вас RTX 4080, сможете запустить NInfer по шагам и проверить его на своих документах.
Первый шаг
Если у вас именно RTX 4080, начните с установки Docker с NVIDIA Container Toolkit и CUDA 13.1, затем скачайте модель и запустите контейнер с профилем на 100 000 токенов.
Цифры
  • —12,4 ГБ — столько занимает файл модели Qwen 27B в 3-битном сжатии GSQ
  • —1970 токенов/с — скорость чтения стотысячного промпта у NInfer на RTX 4080 против 143 у llama cpp
  • —136 токенов/с — реальная скорость записи на кодинговой задаче, пиковые 262 получены на повторяющемся тексте
  • —13 долларов — столько стоили API-токены для порта движка, около 2 миллиардов токенов
Честно
Все цифры — собственные замеры разработчика на своей карте, независимых воспроизведений пока нет, а пиковая скорость записи получена на повторяющемся тексте, что сам разработчик отмечает. Сборка заточена только под RTX 4080 и занимает почти всю видеопамять, работая по одному запросу за раз; для других карт нужны отдельные форки или llama cpp. Автор канала просит подписаться и поставить лайк, платного продукта или курса за роликом нет.
Если слова незнакомы — 5 терминов

Связки из этого ролика

2 шт.

Компоненты

4 шт.

Формат: разбор кейса · для продвинутых · уверенность разметки 0.85 · источник