Хватит ли RTX 3090 на 24 ГБ для Qwen на 177 млрд

Что в ролике
Если локальная модель на 177 млрд параметров кажется не по карману, начинать стоит не с цены машины, а с вопроса, сколько параметров вообще работает на каждом слове. Из 177 млрд активны только 6 млрд, ещё 51 млрд — это таблица n-gram-эмбеддингов из 20 млн биграмм и триграмм, которая не перемножается, а индексируется, поэтому ей не нужна самая быстрая память. Роутер на 512 экспертов будит 10 из них плюс одного общего, то есть ровно 11, а ещё 4 млрд параметров уходят на multi-token prediction. Предел задаёт не объём памяти, а её пропускная способность: RTX 3090 читает свои 24 ГБ быстрее 900 ГБ/с, тогда как часть рабочих карт с большим объёмом выдаёт всего 224 ГБ/с. На практике Qwen на 8 млрд в 4 битах даёт 115 токенов в секунду при контексте 4 000 и падает до 28 при 128 000, хотя железо и файл модели не менялись. Разработчик на карте 16 ГБ с 32 ГБ системной памяти получил 23 токена в секунду на модели 27 млрд, а после принудительного переноса всей модели на карту скорость упала до 19, зато контекст удвоился до 128 000. Четыре RTX 3090 дают 96 ГБ и 28–29 токенов в секунду на файле 93,7 ГБ, но нестабильны после 80 000 токенов истории, а одиночная карта на 24 ГБ этот файл не тянет вовсе. Вывод автора: серверный путь на H100 и H200 с vLLM остаётся официальным, а на своём столе сборка около $2 000 выгоднее, причём включение drafting-флага поднимает скорость с 41,5 до 66,5 токена в секунду ценой расхождения 92–100% ответов с базовой выдачей.
Практика
- Что получишь
- Поймёте, почему объём видеопамяти решает меньше, чем её пропускная способность, и как собрать машину под большую модель примерно за $2 000 вместо $10 000.
- Первый шаг
- Возьмите llama.cpp и посмотрите две цифры на своей модели — обработку промпта и генерацию токенов, потому что реальный предел сидит во второй.
- Цифры
- —6 млрд из 177 млрд — столько параметров реально работает на каждом слове, поэтому карте не нужно держать модель целиком
- —115 против 28 токенов в секунду — так падает скорость Qwen на 8 млрд при росте контекста с 4 000 до 128 000 на том же железе
- —900 против 224 ГБ/с — пропускная способность памяти у RTX 3090 и у части рабочих карт, и именно она задаёт скорость ответа
- —около $2 000 против $10 000 — во столько обходится сборка на своём столе вместо рабочей станции, которую автор предлагает не покупать
- Честно
- Инструкций по сборке и готовых команд в ролике нет: автор называет флаги вскользь, а конкретные значения настроек придётся искать в документации llama.cpp самому. Автор ничего своего не продаёт — это разбор опубликованных чисел Nvidia и чужих замеров, а не собственный тест на своей машине. Часть цифр взята у стороннего разработчика, и условия его прогонов в пересказе не восстановить.
Если слова незнакомы — 6 терминов
- токенкусочек текста размером примерно со слово, которым модель пишет ответ
- контекствся история переписки, которую модель держит перед глазами при ответе
- n-gram-эмбеддингитаблица на 20 млн пар и троек слов, из которой нужная строка просто берётся по индексу, без вычислений
- 4 битасжатие весов модели, чтобы файл занимал меньше памяти
- drafting-флагнастройка, при которой модель сначала угадывает следующие слова, а потом проверяет их пачкой
- vLLMсерверная программа для быстрой выдачи моделей по сети
Связки из этого ролика
9 шт.- Qwen 177B + одна RTX 3090 на 24 ГБ — рабочими на каждом слове оказываются только 6 млрд параметров, поэтому карте не нужно держать весь файл целиком
- Qwen + таблица n-gram-эмбеддингов на 51 млрд параметров — самый крупный блок модели индексируется, а не перемножается, и потому лучше живёт в системной памяти, чем на самой быстрой карте
- Qwen + llama.cpp — размежевание prompt processing и token generation: чтение промпта грузит чип на 92%, а генерация падает до 30%, потому что каждый токен требует заново перечитать все веса из памяти
- Qwen 8B в 4 битах + RTX 3090 — 115 ток/с на контексте 4 000 против 28 ток/с на 128 000 при неизменном железе и полностью загруженной модели
- Qwen 27B на 16-гигабайтной карте с 32 ГБ системной памяти — 4-битная память диалога и 58 слоёв на карте дают 23 ток/с на пике и 16 в устойчивом режиме, а принудительный перенос всей модели на карту с флагом NKVO снижает скорость до 19 и 14, зато удваивает контекст до 128 000 токенов
- Четыре RTX 3090 (96 ГБ) + файл на 93,7 ГБ — 28–29 ток/с, просадка в низкие 20-е, нестабильность после 80 000 токенов и вынесение эмбеддингов в системную память через override-флаги
- Qwen 27B + встроенный drafting поверх llama.cpp на нетронутой карте — 41,5 → 66,5 ток/с ценой расхождения 92–100% ответов с базовой выдачей
- Серверный маршрут: 4-битная сборка NVIDIA + paged attention и 8-битное квантование — H100 на 80 ГБ обслужил сборку чуть больше 61 ГБ, рядом документированы H200 на 141 ГБ и серверные карты Blackwell в стеке vLLM
- Сборка на своём столе: карта на 24 ГБ плюс 128 ГБ DDR4 (четыре набора по 32 ГБ, около $1 000) — около $2 000 вместо рабочей станции за $10 000
Компоненты
8 шт.Формат: разбор · для практикующих · уверенность разметки 0.83 · источник