Qwen 180B на 12 ГБ VRAM: рецепт в один клик

Что в ролике
Владельцы домашних ПК с NVIDIA RTX на 12–16 ГБ VRAM могут запустить 180-миллиардную Qwen 3.8 Flash Next без облака — автор показывает скорость до 84,5 токена в секунду на RTX 5070 и утверждает, что метод работает на любой RTX с 12 ГБ VRAM. Узкое место стандартного запуска — таблица n-gram-эмбеддингов на 51 млрд параметров, которая занимает около 30 ГБ, и при ленивом отображении в llama cpp каждый токен ждёт синхронного чтения с SSD, поэтому скорость падает до 15 TPS, а с MTP поднимается максимум до 35 TPS. Репозиторий Strata от разработчика Nico1221 решает это кастомным слоем управления памятью в CUDA: асинхронная предвыборка заранее подтягивает нужные строки n-gram из RAM или SSD, lookahead-кэш в оперативке держит предсказанные строки, а перемножение 6 млрд активных MoE-параметров идёт параллельно с передачей эмбеддингов по PCIe. Для запуска нужно склонировать репозиторий, запустить скрипт и ответить на четыре вопроса: выбрать Qwen 3.8 Flash Next, квант IQ2XS, контекст 32 000 токенов для 12 ГБ VRAM или 46 000 для 16 ГБ, и включить image encoder, который займёт 1,4 ГБ VRAM. Модель займёт до 68 ГБ на диске и около 36 ГБ в RAM, после сборки CUDA-объектов и загрузки двух частей она поднимается на localhost:8080. Автор подчёркивает, что это решение без Docker и ручных команд, сделанное для зрителей с обычным игровым ПК, а не только для владельцев кластеров.
Практика
- Что получишь
- Возможность запустить 180B модель на своей RTX с 12 ГБ VRAM без Docker и ручной настройки — после анкеты из четырёх вопросов и загрузки модели она работает на localhost:8080 со скоростью до 84,5 токена в секунду.
- Первый шаг
- Склонировать репозиторий Strata, запустить его скрипт и в анкете выбрать Qwen 3.8 Flash Next с квантом IQ2XS.
- Цифры
- —84,5 токена в секунду — пиковая скорость генерации на RTX 5070 с 12 ГБ VRAM
- —15 TPS — скорость стандартного запуска без оптимизаций
- —35 TPS — потолок скорости при использовании MTP, до применения Strata
- —32 000 токенов — рекомендуемый размер контекстного окна для 12 ГБ VRAM
- Честно
- Автор продвигает свой канал и просит подписку, но собственного платного продукта не упоминает. Рецепт основан на стороннем репозитории Strata от Nico1221, поэтому работоспособность зависит от его кода, а точные ответы анкеты и процесс сборки видны на экране — по пересказу повторить можно, но детали интерфейса лучше сверить с видео. Для повторения нужен именно RTX с 12+ ГБ VRAM и 46 ГБ RAM, иначе способ не сработает.
Если слова незнакомы — 7 терминов
- токенединица текста, которую модель обрабатывает за один шаг генерации
- VRAMвидеопамять на GPU, которая хранит данные во время вычислений
- n-gram-эмбеддингивекторные представления частых последовательностей текста, которые в этой модели вынесены в отдельную большую таблицу
- MoEархитектура mixture of experts, где для каждого токена работают не все параметры, а только часть экспертов
- MTPпредсказание нескольких следующих токенов за один проход для ускорения инференса
- CUDAплатформа NVIDIA для написания низкоуровневого кода под GPU
- квант IQ2XSсильно сжатая версия весов модели с пониженной точностью, чтобы она влезла в память
Связки из этого ролика
1 шт.- llama.cpp + CUDA + Strata
Компоненты
4 шт.Формат: пошаговый урок · для новичков · уверенность разметки 0.9 · источник