Локальная ИИ-модель под 4–512 ГБ: что выбрать

Что в ролике
Выбор локальной модели для программирования сводится к объёму памяти, и главное правило — не забивать её весами под завязку, а оставлять запас под код и историю. Для 4 ГБ автор советует Qwen 3.5 2B из Ollama (2,7 ГБ), для 6 ГБ — Qwen 3.5 4B Q4 (3,4 ГБ), для 8–16 ГБ — Ornith 1.5 9B с квантами Q4 (5,78 ГБ), Q5, Q6 и Q8, а на 16 ГБ есть GPT-OSS 20B. В диапазоне 20–24 ГБ основная рекомендация Qwen 3.8 27B: Q4KM на 17,7 ГБ для 20 ГБ и GGML Q4KM на 19 ГБ для 24 ГБ, модель показала 61,7% против 53,5% у Qwen 3.6 в SWE-bench Pro. С 32 до 48 ГБ остаются на том же Qwen 3.8 27B, повышая квант до Q5, Q6 или Q8 (28,6 ГБ), а на Apple silicon нужно вычитать память, занятую системой. На 64 ГБ рекомендуют Qwen 3 Coder Next 4-bit (52 ГБ), на 80–96 ГБ — GPT-OSS 120B, но у Lagona 2.1 актуальный файл вырос до 96 ГБ вместо заявленных 68 ГБ. Для Mac 64–96 ГБ описан гибрид Qwen 3.8 Flash Next: 85 ГБ на диске, 46 ГБ в памяти и 39 ГБ таблиц на SSD; на 128–192 ГБ идёт Qwen 3.8 8 Flash Next со score 81, на 256 ГБ — GLM 5.3 Flash 4-bit 192,9 ГБ. На 288–384 ГБ берут Ornith 1.5 397B (244 ГБ в 4-bit) или 286 ГБ в 5-bit, на 512 ГБ Mac — Deepseek V4.1 Flash 4-bit (483 ГиБ), для мульти-GPU — GLM 5.3 467 ГБ; при нестандартном объёме спускаются к ближайшему нижнему тиру.
Практика
- Что получишь
- Чёткий стартовый список моделей под вашу видеопамять и понимание, сколько места оставлять под рабочий контекст, чтобы локальный ассистент не зависал.
- Первый шаг
- Узнайте фактический объём доступной VRAM или unified memory, выберите ближайший тир из списка и скачайте указанный квант через Ollama или свой runner.
- Цифры
- —61,7% — результат Qwen 3.8 27B в SWE-bench Pro против 53,5% у Qwen 3.6
- —46,2 против 21,3 — преимущество Ornith 1.5 9B над Qwen 3.5 9B в терминальном тесте
- —19 ГБ — размер GGML Q4KM сборки Qwen 3.8 27B для 24 ГБ
- —483 ГиБ — полный размер Deepseek V4.1 Flash 4-bit для Mac на 512 ГБ
- Честно
- Автор не проводил собственные замеры: все цифры — из оценок разработчиков и чужих бенчмарков, и в конце просит подписаться на канал. Рецепты для Mac на 64+ ГБ и для 128+ ГБ требуют экспериментальных форков и нестандартной настройки, часть имён файлов и параметров видна только на экране.
Если слова незнакомы — 5 терминов
- квантсжатая версия модели, где веса хранятся с меньшей точностью
- VRAMпамять видеокарты, где модель хранит веса и рабочий контекст
- unified memoryобщая память на Apple silicon, которую делят система, приложения и GPU
- runnerпрограмма, которая загружает модель и выполняет запросы, например Ollama
- SWE-bench Proтест, где модель ищет и исправляет баги в реальных репозиториях
Связки из этого ролика
2 шт.- Unsloth + Llama.cpp
- Ollama + Qwen
Компоненты
5 шт.Формат: пошаговый урок · для практикующих · уверенность разметки 0.88 · источник