К содержимому
Дайджест

Хватит ли RTX 3090 на 24 ГБ для Qwen на 177 млрд

The Stack·18 сентября 2026·16:35
можно прочитать понять, как устроено
Открыть на YouTube
Разбор по опубликованным числам Nvidia и чужим замерам — для тех, кто выбирает железо под большую локальную модель и не хочет покупать рабочую станцию за $10 000.

Что в ролике

Если локальная модель на 177 млрд параметров кажется не по карману, начинать стоит не с цены машины, а с вопроса, сколько параметров вообще работает на каждом слове. Из 177 млрд активны только 6 млрд, ещё 51 млрд — это таблица n-gram-эмбеддингов из 20 млн биграмм и триграмм, которая не перемножается, а индексируется, поэтому ей не нужна самая быстрая память. Роутер на 512 экспертов будит 10 из них плюс одного общего, то есть ровно 11, а ещё 4 млрд параметров уходят на multi-token prediction. Предел задаёт не объём памяти, а её пропускная способность: RTX 3090 читает свои 24 ГБ быстрее 900 ГБ/с, тогда как часть рабочих карт с большим объёмом выдаёт всего 224 ГБ/с. На практике Qwen на 8 млрд в 4 битах даёт 115 токенов в секунду при контексте 4 000 и падает до 28 при 128 000, хотя железо и файл модели не менялись. Разработчик на карте 16 ГБ с 32 ГБ системной памяти получил 23 токена в секунду на модели 27 млрд, а после принудительного переноса всей модели на карту скорость упала до 19, зато контекст удвоился до 128 000. Четыре RTX 3090 дают 96 ГБ и 28–29 токенов в секунду на файле 93,7 ГБ, но нестабильны после 80 000 токенов истории, а одиночная карта на 24 ГБ этот файл не тянет вовсе. Вывод автора: серверный путь на H100 и H200 с vLLM остаётся официальным, а на своём столе сборка около $2 000 выгоднее, причём включение drafting-флага поднимает скорость с 41,5 до 66,5 токена в секунду ценой расхождения 92–100% ответов с базовой выдачей.

Практика

Что получишь
Поймёте, почему объём видеопамяти решает меньше, чем её пропускная способность, и как собрать машину под большую модель примерно за $2 000 вместо $10 000.
Первый шаг
Возьмите llama.cpp и посмотрите две цифры на своей модели — обработку промпта и генерацию токенов, потому что реальный предел сидит во второй.
Цифры
  • —6 млрд из 177 млрд — столько параметров реально работает на каждом слове, поэтому карте не нужно держать модель целиком
  • —115 против 28 токенов в секунду — так падает скорость Qwen на 8 млрд при росте контекста с 4 000 до 128 000 на том же железе
  • —900 против 224 ГБ/с — пропускная способность памяти у RTX 3090 и у части рабочих карт, и именно она задаёт скорость ответа
  • —около $2 000 против $10 000 — во столько обходится сборка на своём столе вместо рабочей станции, которую автор предлагает не покупать
Честно
Инструкций по сборке и готовых команд в ролике нет: автор называет флаги вскользь, а конкретные значения настроек придётся искать в документации llama.cpp самому. Автор ничего своего не продаёт — это разбор опубликованных чисел Nvidia и чужих замеров, а не собственный тест на своей машине. Часть цифр взята у стороннего разработчика, и условия его прогонов в пересказе не восстановить.
Если слова незнакомы — 6 терминов

Связки из этого ролика

9 шт.

Компоненты

8 шт.

Формат: разбор · для практикующих · уверенность разметки 0.83 · источник