Как запустить большие LLM на 4–16 ГБ VRAM

Что в ролике
Если вы хотите запускать локальные LLM на видеокарте от 4 до 16 ГБ, автор показывает, что решает не только VRAM, но и системная память, а mixture of experts-модели можно разложить между ними. В таких моделях на каждый токен работает лишь часть экспертов: у Qwen 3,6 из 256 выбираются 8, поэтому из 35 млрд параметров активны около 3 млрд, а файл на 4 битах весит около 22 ГБ, из которых 88% — эксперты. Через llama cpp вы клонируете репозиторий, собираете под свою карту и запускаете llama server, который сам решает, что держать в VRAM, а что в RAM, при этом флагами fit target, MoCache и CTK/CTV Q8_0 можно управлять кэшем экспертов и размером контекста. На 4 ГБ VRAM с 32 ГБ RAM Qwen 3,6 генерирует около 33 токенов в секунду, а с 16 ГБ RAM скорость падает до 25–30, потому что часть экспертов читается с SSD через mmap. При 8 ГБ появляется K2 Horizon, но ему нужно 96 КБ на токен контекста, и 32k токенов съедают около 3 ГБ, тогда как Neumotron 3,5 Lightning требует лишь 3 КБ на токен и держит миллион токенов. На 12 ГБ скорость упирается в то, где лежат эксперты: добавление VRAM даёт прирост с 33 до 51 токен/с на RTX 3060, а при 64 ГБ RAM и 12 ГБ VRAM движок Strata запускает 177-миллиардный Qwen 3,8 Flash со скоростью около 45 токен/с. На 16 ГБ можно целиком загрузить 27-миллиардную плотную модель Qwen 3,8 с квантом GS QAR CO, который автор считает лучшим локальным вариантом до 100 млрд параметров, но даже 763-миллиардный DeepSeek V4,1 Flash в 2 битах работает на одной карте через его форк llama cpp со скоростью 21 токен/с.
Практика
- Что получишь
- Поймёте, какие mixture of experts-модели реально запускаются на вашей видеокарте, как распределить веса между VRAM, RAM и SSD, и какие флаги llama cpp влияют на скорость и длину контекста.
- Первый шаг
- Склонировать репозиторий llama cpp с GitHub, собрать его под свою видеокарту по инструкции на странице сборки и запустить llama server, указав модель с Hugging Face.
- Цифры
- —88% — доля экспертов в файле Qwen 3,6 на 4 битах (почти 20 из 22 ГБ)
- —33 токена в секунду — скорость генерации Qwen 3,6 на 4 ГБ VRAM с 32 ГБ RAM
- —8 из 256 — сколько экспертов выбирает маршрутизатор Qwen 3,6 на каждый токен
- —45 токенов в секунду — скорость Qwen 3,8 Flash 177B на 12 ГБ VRAM через Strata с 64 ГБ RAM
- Честно
- Ролик спонсирован Client Desktop: автор показывает его локальную страницу моделей и платный Client Pass за $9,99 в месяц с повышенными лимитами. Для запуска 763B DeepSeek V4,1 Flash он использует собственный форк llama cpp с упрощённой маршрутизацией (небольшая потеря точности), а не обычную сборку; для повторения больших моделей также упомянут движок Strata. Точные команды сборки и значения флагов показаны на экране, в расшифровке они есть лишь частично — лучше смотреть видео.
Если слова незнакомы — 8 терминов
- mixture of experts (MoE)архитектура, где на каждый токен работает лишь небольшая часть параметров, выбранная маршрутизатором
- параметрычисловые веса, которые модель использует для вычислений
- токенминимальная единица текста, которую модель читает или генерирует
- VRAMпамять видеокарты
- RAMсистемная оперативная память компьютера
- контекстрабочая память модели о текущем разговоре
- квантснижение точности весов модели для уменьшения размера файла
- mmapотображение файла модели на диск, чтобы не загружать все веса в RAM
Связки из этого ролика
4 шт.- llama.cpp + CUDA
- llama.cpp + MoE offloading
- Strata + SSD streaming
- Client Desktop + OpenAI compatible provider
Компоненты
13 шт.Формат: пошаговый урок · для практикующих · уверенность разметки 0.9 · источник