К содержимому
Дайджест

27B-модель без видеокарты: 5 токенов в секунду

The Stack·16 сентября 2026·14:53
можно прочитать понять, как устроено
Открыть на YouTube
Разбор по чужим опубликованным числам: поместится ли 27-миллиардная модель Qwen на обычный десктоп без видеокарты и с какой скоростью она там будет отвечать.

Что в ролике

Вопрос звучит просто: потянет ли обычный компьютер без видеокарты модель Qwen 27B от Alibaba на 27,8 миллиарда параметров, и автор отвечает на него арифметикой из опубликованных чужих чисел. По памяти модель помещается: файл, сжатый квантованием до 4 бит, весит около 16,5 ГБ, издатели указывают требование 16–19 ГБ обычной системной памяти, а на 1-битной версии хватит 7–8 ГБ. Скорость определяет не процессор, а пропускная способность памяти: чтобы выдать один токен, машина должна прочитать все 27,8 миллиарда параметров, потому что в модели 64 слоя и никакой маршрутизации экспертов. Отсюда вся арифметика: у десктопного чипа Intel максимум 89,6 ГБ в секунду, делим на файл в 16,5 ГБ и получаем потолок 5,4 токена в секунду, а с поправкой на реальную эффективность движка в 85–95% — примерно 4,5–5 токенов в секунду, то есть темп неторопливой печати. Видеокарта выигрывает только на чтении: RTX 5090 читает 1792 ГБ в секунду и упирается в потолок около 107 токенов в секунду, а RTX 4090 выдаёт 48,8 и работает на 86% своего потолка. Живые замеры скромнее теории: разработчик запустил модель на ноутбуке с Intel Core i5 и 32 ГБ памяти через свой минимальный движок на C без Python и CUDA и получил 1,88 токена в секунду, а на 1-битном файле — 2,52; на Raspberry Pi 5 произведение размера файла на скорость держалось в коридоре 9,76–10,55 ГБ в секунду независимо от сжатия. Практические выводы такие: дефолтная загрузка Ollama на 18 ГБ переполняет 16-гигабайтную машину и уводит веса на диск, а опускаться ниже 4 бит невыгодно, потому что машина начинает платить не за чтение, а за распаковку. Единственный реальный ускоритель — спекулятивное декодирование через черновую голову весом 1,3 ГБ: она угадывает следующие слова, и скорость выросла с 27,43 до 38,83 токена в секунду.

Практика

Что получишь
Сможете прикинуть скорость для своей машины простым делением размера файла на пропускную способность памяти. И понять, почему дело не в процессоре, а в том, сколько гигабайт машина успевает прочитать.
Первый шаг
Найдите 4-битный файл модели на Hugging Face, проверьте, что у вас есть 16–19 ГБ свободной оперативной памяти, и запустите его в Ollama или llama.cpp, выбрав файл вручную, а не соглашаясь на дефолтную загрузку в 18 ГБ.
Цифры
  • —27,8 млрд параметров — столько в модели Qwen 27B, и все они читаются на каждый выданный токен
  • —89,6 ГБ в секунду — паспортная пропускная способность памяти десктопного чипа Intel, и у средней модели она такая же, как у топовой
  • —около 5 токенов в секунду — расчётная скорость на десктопе без видеокарты, тогда как замер на ноутбуке i5 дал 1,88
  • —1792 ГБ в секунду — столько читает память RTX 5090, это примерно в 20 раз больше десктопной планки
Честно
Автор не запускает модель сам: все цифры взяты из документации, Hugging Face и отчётов других людей, поэтому пять токенов в секунду — это расчёт, а не замер. Живой тест на ноутбуке с i5 дал 1,88 токена в секунду, то есть ждать ответа придётся заметно дольше. Рекламы и ссылок на свои продукты в ролике нет.
Если слова незнакомы — 4 терминов

Связки из этого ролика

6 шт.

Компоненты

14 шт.

Формат: разбор · для практикующих · уверенность разметки 0.86 · источник