К содержимому
Дайджест

Локальная ИИ-модель под 4–512 ГБ: что выбрать

The Stack·28 сентября 2026·16:07
текст даёт основное можно повторить пошагово
Открыть на YouTube
Практический гид по выбору локальной модели для программирования под конкретный объём памяти — от 4 ГБ до 512 ГБ, с разбором моделей и квантов.

Что в ролике

Выбор локальной модели для программирования сводится к объёму памяти, и главное правило — не забивать её весами под завязку, а оставлять запас под код и историю. Для 4 ГБ автор советует Qwen 3.5 2B из Ollama (2,7 ГБ), для 6 ГБ — Qwen 3.5 4B Q4 (3,4 ГБ), для 8–16 ГБ — Ornith 1.5 9B с квантами Q4 (5,78 ГБ), Q5, Q6 и Q8, а на 16 ГБ есть GPT-OSS 20B. В диапазоне 20–24 ГБ основная рекомендация Qwen 3.8 27B: Q4KM на 17,7 ГБ для 20 ГБ и GGML Q4KM на 19 ГБ для 24 ГБ, модель показала 61,7% против 53,5% у Qwen 3.6 в SWE-bench Pro. С 32 до 48 ГБ остаются на том же Qwen 3.8 27B, повышая квант до Q5, Q6 или Q8 (28,6 ГБ), а на Apple silicon нужно вычитать память, занятую системой. На 64 ГБ рекомендуют Qwen 3 Coder Next 4-bit (52 ГБ), на 80–96 ГБ — GPT-OSS 120B, но у Lagona 2.1 актуальный файл вырос до 96 ГБ вместо заявленных 68 ГБ. Для Mac 64–96 ГБ описан гибрид Qwen 3.8 Flash Next: 85 ГБ на диске, 46 ГБ в памяти и 39 ГБ таблиц на SSD; на 128–192 ГБ идёт Qwen 3.8 8 Flash Next со score 81, на 256 ГБ — GLM 5.3 Flash 4-bit 192,9 ГБ. На 288–384 ГБ берут Ornith 1.5 397B (244 ГБ в 4-bit) или 286 ГБ в 5-bit, на 512 ГБ Mac — Deepseek V4.1 Flash 4-bit (483 ГиБ), для мульти-GPU — GLM 5.3 467 ГБ; при нестандартном объёме спускаются к ближайшему нижнему тиру.

Практика

Что получишь
Чёткий стартовый список моделей под вашу видеопамять и понимание, сколько места оставлять под рабочий контекст, чтобы локальный ассистент не зависал.
Первый шаг
Узнайте фактический объём доступной VRAM или unified memory, выберите ближайший тир из списка и скачайте указанный квант через Ollama или свой runner.
Цифры
  • —61,7% — результат Qwen 3.8 27B в SWE-bench Pro против 53,5% у Qwen 3.6
  • —46,2 против 21,3 — преимущество Ornith 1.5 9B над Qwen 3.5 9B в терминальном тесте
  • —19 ГБ — размер GGML Q4KM сборки Qwen 3.8 27B для 24 ГБ
  • —483 ГиБ — полный размер Deepseek V4.1 Flash 4-bit для Mac на 512 ГБ
Честно
Автор не проводил собственные замеры: все цифры — из оценок разработчиков и чужих бенчмарков, и в конце просит подписаться на канал. Рецепты для Mac на 64+ ГБ и для 128+ ГБ требуют экспериментальных форков и нестандартной настройки, часть имён файлов и параметров видна только на экране.
Если слова незнакомы — 5 терминов

Связки из этого ролика

2 шт.

Компоненты

5 шт.

Формат: пошаговый урок · для практикующих · уверенность разметки 0.88 · источник