К содержимому
Дайджест

Локальные модели под любую видеопамять: от 8 ГБ до кластеров

RepoChad·27 сентября 2026·13:44
текст даёт основное понять, как устроено промо пошагово
Открыть на YouTube
Гайд по подбору локальных LLM и квантов под объём видеопамяти, от 8 ГБ до многокарточных кластеров, с конкретными размерами файлов и рекомендациями.

Что в ролике

Подбор локальной модели начинается с арифметики: заявленные 24 ГБ карты после расходов на CUDA и систему оставляют под модель и кэш меньше, чем кажется, и файл Qwen 3.8 27B в UDQ6_K_M (23,1 ГБ) занимает в памяти 21,5 ГиБ, оставляя лишь 2,5 ГиБ на кэш. Для 8 ГБ базовый вариант — Qwen 3.5 9B в Q4_K_M (5,68 ГБ) с рабочим контекстом около 8 тыс токенов, а для 12 ГБ — Gemma 4 12B в Q4_K_M (7,12 ГБ) с мультимодальностью или Qwen 3.5 9B в Q6_K (7,46 ГБ) для чистого текста. На 16 ГБ можно втиснуть Qwen 3.8 27B в 3-битном кванте (13,1 ГБ), но для стабильной работы автор советует Gemma 4 12B в Q6_K/Q8_0 или GPT-OSS 20B в MXFP4 с форматом Harmony. Универсальный выбор на 24 ГБ — Qwen 3.8 27B в UDQ4_K_M (16,5 ГБ) с лицензией Apache 2.0 и нативным зрением, а для скорости терминальных агентов — Gemma 4 26B A4B (16,9 ГБ) или Muse Glimmer 30B (~17 ГБ). На 32–48 ГБ не стоит гнаться за низкобитными квантами: Qwen 3.8 27B в UDQ6_K_M занимает 23,1 ГБ, Qwen 3.5 35B A3B в Q5_K_M — 26,2 ГБ, а Qwen 3 Code Next в Q4_K_M требует уже 64 ГБ, потому что его файлы весят 48,4 ГБ и не оставляют места под кэш. В диапазоне 80–128 ГБ появляются Qwen 3.5 122B A10B (76,5 ГБ), GPT-OSS 120B (около 80 ГБ) и Qwen 3.8 Flash Next (93,7 ГБ), а на 192–512 ГБ — GLM 5.3 Flash (от 157 до 341 ГБ), Qwen 3.5 397B A17B (422 ГБ) и MiniMax M3 (208 ГБ). Автор предупреждает: DeepSeek V4.1 Flash и Kimi K3 не помещаются в 512 ГБ как есть (763 млрд и 2,8 трлн параметров), для креатива лучше слепое прослушивание Gemma и Mistral Small, а под изображения, аудио и RAG держать отдельные пайплайны.

Практика

Что получишь
Сможете выбрать модель и квант под свою видеопамять, не упираясь в аллокатор, и поймёте разницу между активными и полными параметрами.
Первый шаг
Определите реальный свободный объём видеопамяти после запуска CUDA и драйвера, вычтя 1–2 ГБ, и выберите квант из приведённых в ролике таблиц.
Цифры
  • —5,68 ГБ — размер Qwen 3.5 9B в Q4_K_M, помещающийся на 8 ГБ с запасом под кэш
  • —23,1 ГБ — файл Qwen 3.8 27B в UDQ6_K_M, оставляющий на 24-ГБ карте только 2,5 ГиБ под кэш
  • —76,5 ГБ — размер Qwen 3.5 122B A10B в Q4_K_M для памяти 80–96 ГБ
  • —1,4 ТБ — только файлы весов Kimi K3 в MXFP4, из-за чего он не помещается в 512 ГБ
Честно
Автор прямо предлагает оформить платное членство канала: эксклюзивные видео с тестами мультиагентных сборок, приоритетные ответы и «shout-outs» идут за подписку, а в открытом ролике сырых конфигов и бенчмарков нет. Числа и названия моделей названы в речи, но команды и настройки нужно смотреть на экране.
Если слова незнакомы — 4 терминов

Компоненты

9 шт.

Формат: разбор · для продвинутых · уверенность разметки 0.92 · источник