27B-модель без видеокарты: 5 токенов в секунду

Что в ролике
Вопрос звучит просто: потянет ли обычный компьютер без видеокарты модель Qwen 27B от Alibaba на 27,8 миллиарда параметров, и автор отвечает на него арифметикой из опубликованных чужих чисел. По памяти модель помещается: файл, сжатый квантованием до 4 бит, весит около 16,5 ГБ, издатели указывают требование 16–19 ГБ обычной системной памяти, а на 1-битной версии хватит 7–8 ГБ. Скорость определяет не процессор, а пропускная способность памяти: чтобы выдать один токен, машина должна прочитать все 27,8 миллиарда параметров, потому что в модели 64 слоя и никакой маршрутизации экспертов. Отсюда вся арифметика: у десктопного чипа Intel максимум 89,6 ГБ в секунду, делим на файл в 16,5 ГБ и получаем потолок 5,4 токена в секунду, а с поправкой на реальную эффективность движка в 85–95% — примерно 4,5–5 токенов в секунду, то есть темп неторопливой печати. Видеокарта выигрывает только на чтении: RTX 5090 читает 1792 ГБ в секунду и упирается в потолок около 107 токенов в секунду, а RTX 4090 выдаёт 48,8 и работает на 86% своего потолка. Живые замеры скромнее теории: разработчик запустил модель на ноутбуке с Intel Core i5 и 32 ГБ памяти через свой минимальный движок на C без Python и CUDA и получил 1,88 токена в секунду, а на 1-битном файле — 2,52; на Raspberry Pi 5 произведение размера файла на скорость держалось в коридоре 9,76–10,55 ГБ в секунду независимо от сжатия. Практические выводы такие: дефолтная загрузка Ollama на 18 ГБ переполняет 16-гигабайтную машину и уводит веса на диск, а опускаться ниже 4 бит невыгодно, потому что машина начинает платить не за чтение, а за распаковку. Единственный реальный ускоритель — спекулятивное декодирование через черновую голову весом 1,3 ГБ: она угадывает следующие слова, и скорость выросла с 27,43 до 38,83 токена в секунду.
Практика
- Что получишь
- Сможете прикинуть скорость для своей машины простым делением размера файла на пропускную способность памяти. И понять, почему дело не в процессоре, а в том, сколько гигабайт машина успевает прочитать.
- Первый шаг
- Найдите 4-битный файл модели на Hugging Face, проверьте, что у вас есть 16–19 ГБ свободной оперативной памяти, и запустите его в Ollama или llama.cpp, выбрав файл вручную, а не соглашаясь на дефолтную загрузку в 18 ГБ.
- Цифры
- —27,8 млрд параметров — столько в модели Qwen 27B, и все они читаются на каждый выданный токен
- —89,6 ГБ в секунду — паспортная пропускная способность памяти десктопного чипа Intel, и у средней модели она такая же, как у топовой
- —около 5 токенов в секунду — расчётная скорость на десктопе без видеокарты, тогда как замер на ноутбуке i5 дал 1,88
- —1792 ГБ в секунду — столько читает память RTX 5090, это примерно в 20 раз больше десктопной планки
- Честно
- Автор не запускает модель сам: все цифры взяты из документации, Hugging Face и отчётов других людей, поэтому пять токенов в секунду — это расчёт, а не замер. Живой тест на ноутбуке с i5 дал 1,88 токена в секунду, то есть ждать ответа придётся заметно дольше. Рекламы и ссылок на свои продукты в ролике нет.
Если слова незнакомы — 4 терминов
- токенкусочек текста, примерно слово или его часть: модель выдаёт ответ по одному токену за шаг
- квантованиесжатие чисел модели до 4 или 1 бита, из-за которого файл становится в разы меньше
- пропускная способность памятисколько гигабайт в секунду компьютер успевает прочитать из оперативной памяти
- спекулятивное декодированиеприём, когда маленькая модель угадывает следующие слова, а большая только подтверждает догадки
Связки из этого ролика
6 шт.- Ollama + Qwen 3.8 27B — запуск 27B-модели на десктопе без видеокарты с системной памятью
- Qwen 3.8 27B (4-bit, 16,5 ГБ) + 16–19 ГБ системной RAM — локальный инференс без графической карты
- llama.cpp + Raspberry Pi 5 — замер пяти степеней квантования с выключенным GPU-путём
- Qwen 3.8 27B + draft head (speculative decoding) — ускорение декодинга с 27,43 до 38,83 ток/с
- Unsloth-таблица требований + системная RAM — выбор степени квантования вместо апгрейда видеокарты
- Ollama + 18 ГБ дефолтный тег — переполнение 16 ГБ машины и уход весов на диск
Компоненты
14 шт.Формат: разбор · для практикующих · уверенность разметки 0.86 · источник