27B-модель с контекстом 100K на одной RTX 4080

Что в ролике
Если у вас есть RTX 4080 с 16 ГБ, на ней можно запустить 27-миллиардную модель Qwen 27B со 100-тысячным контекстом — для этого разработчик Roofkid собрал движок NInfer 4080 и сжал веса до 3 бит методом GSQ от ISTA, получив файл на 12,4 ГБ. Память для истории разговора сжимается примерно до 2 ГБ вместо стандартных 3,5 ГБ, поэтому карта загружается с запасом меньше гигабайта. Чтение промпта на полной длине 100 000 токенов занимает около 40 секунд, скорость падает с 2720 токенов в секунду на коротких текстах до 1970 на длинных. Пиковая скорость записи 262 токена в секунду получена на повторяющемся бенчмарке, где все догадки вспомогательной модели принимались, а на реальном кодинге движок выдал 136 токенов в секунду, в повседневной прозе около 100. Качество по ограниченным тестам не просело: 3-битная версия набрала 100 баллов на AIM 2025 и 91% на GPQ8 Diamond против 90% у полной модели, но это одиночные прогоны. На той же RTX 4080 NInfer читает стотысячный промпт за 1970 токенов в секунду против 143 у llama cpp, а на записи сравнивать сложнее, так как замеры проводились разными методами. Сборка работает только на RTX 4080, а разработчик потратил на порт около 2 миллиардов токенов и 13 долларов API, гоняя DeepSeek V4,1 Flash в агенте Pi.
Практика
- Что получишь
- Поймёте, за счёт чего 27B-модель помещается в 16 ГБ и какие скорости реальны, а не взяты из заголовка. Если у вас RTX 4080, сможете запустить NInfer по шагам и проверить его на своих документах.
- Первый шаг
- Если у вас именно RTX 4080, начните с установки Docker с NVIDIA Container Toolkit и CUDA 13.1, затем скачайте модель и запустите контейнер с профилем на 100 000 токенов.
- Цифры
- —12,4 ГБ — столько занимает файл модели Qwen 27B в 3-битном сжатии GSQ
- —1970 токенов/с — скорость чтения стотысячного промпта у NInfer на RTX 4080 против 143 у llama cpp
- —136 токенов/с — реальная скорость записи на кодинговой задаче, пиковые 262 получены на повторяющемся тексте
- —13 долларов — столько стоили API-токены для порта движка, около 2 миллиардов токенов
- Честно
- Все цифры — собственные замеры разработчика на своей карте, независимых воспроизведений пока нет, а пиковая скорость записи получена на повторяющемся тексте, что сам разработчик отмечает. Сборка заточена только под RTX 4080 и занимает почти всю видеопамять, работая по одному запросу за раз; для других карт нужны отдельные форки или llama cpp. Автор канала просит подписаться и поставить лайк, платного продукта или курса за роликом нет.
Если слова незнакомы — 5 терминов
- токенминимальный кусочек текста, который модель читает или пишет за один шаг
- контекстобъём текста, который модель помнит в текущем разговоре
- GSQметод сжатия весов модели, позволяющий хранить их в 3 битах вместо 16
- бенчмаркстандартный тест для измерения качества или скорости модели
- llama cppоткрытый движок для запуска больших языковых моделей на разных видеокартах и процессорах
Связки из этого ролика
2 шт.- Ninfer 4080 + Qwen 3 27B 3-bit + RTX 4080
- llama.cpp + Qwen 3 27B 3-bit + RTX 4080
Компоненты
4 шт.Формат: разбор кейса · для продвинутых · уверенность разметки 0.85 · источник