Какие модели влезают в 96 ГБ Mac Studio

Что в ролике
Если вы смотрите на базовый Mac Studio M5 Ultra с 96 ГБ, реальный бюджет под модель — не 96, а около 77 ГБ (на свежих macOS ближе к 83 ГБ), потому что остальное система Mac OS резервирует под себя. Плотные модели до примерно 30 млрд параметров, например Qwen 27B в 4-бите (16,1 ГБ) или в 8-бите (29,5 ГБ), живут с большим запасом; 8-битная копия оставляет почти 50 ГБ под контекст и систему. Классические плотные 70 млрд, например Llama 70B в 4-бите (39,7 ГБ), влезают, но пишут лишь 24,5 токена в секунду на 64-ядерном M5 Ultra, а на длинном контексте 64k время до первого токена растёт до 175 секунд. Лучший баланс дают модели класса 120 млрд, построенные как смесь экспертов (MoE): OpenAI GPT-OSS 120B при файле 63,4 ГБ выдал 104,3 токена в секунду, потому что на токен активируется только 5,1 млрд параметров, а Qwen 122B в 4-бите занимает 69,6–76,5 ГБ и оставляет немного места под чат. Особый трюк — модель Qwen Flash Next, чей 4-битный файл 106–112 ГБ больше всей памяти, но OMLX научили держать 30 ГБ lookup-таблицы на SSD, и на M5 Ultra скорость держится от 82 до 93 токенов в секунду даже на 128k контексте. Модели класса 200 млрд не помещаются никак: DeepSeek V4 Flash в 4-бите весит около 155 ГБ, а GLM Flash даже в 1-бите занимает 93,1 ГБ, поэтому для них нужен Mac с 256 ГБ и доплата $4 000. Главная рекомендация — брать MoE 120B в 4-бите или 27B в 8-бите для максимального запаса, а плотные 70B пропускать, потому что они едят контекст и медленно пишут.
Практика
- Что получишь
- Вы узнаете реальный лимит памяти и какие семейства моделей выбирать, чтобы не получить падение с ошибкой out of memory и не переплачивать за конфигурацию с запасом.
- Первый шаг
- Откройте LM Studio и посмотрите максимальный объём видеопамяти в настройках — это ваш реальный лимит, от которого нужно отталкиваться при выборе файла.
- Цифры
- —77 ГБ — столько по умолчанию отдаётся графике из 96 ГБ на Mac Studio (в новых macOS до 83 ГБ)
- —53,7 токена в секунду — скорость 4-битного Qwen 27B на 64-ядерном M5 Ultra из пользовательского бенчмарка
- —104,3 токена в секунду — скорость OpenAI GPT-OSS 120B на том же чипе за счёт MoE-архитектуры
- —155 ГБ — размер 4-битного DeepSeek V4 Flash, который не помещается в 96 ГБ
- Честно
- Автор просит подписаться, поставить лайк и оставить комментарий — это стандартная поддержка канала, внешней рекламы или партнёрских ссылок в ролике нет. Цифры для базовой 64-ядерной конфигурации собраны из публичных обзоров и пользовательских бенчмарков OMLX, а не из собственных тестов автора. Запуск Qwen Flash Next с оффлоадом таблицы на SSD работает только в OMLX; в приложениях на llama.cpp и GGUF тот же файл может падать с ошибкой памяти из-за бага, а для моделей 200B класса единственное решение — Mac с 256 ГБ и доплата $4 000; точные команды и логи показаны только на экране.
Если слова незнакомы — 6 терминов
- плотная модельмодель, которая читает все свои параметры при каждом токене
- смесь экспертов (MoE)архитектура, где для каждого токена работает лишь часть блоков, из-за чего файл большой, а скорость выше
- токенфрагмент слова, который модель читает или пишет
- KV-кэшзаметки о каждом токене в текущем диалоге, занимают память дополнительно к файлу
- оффлоадвынос части модели на SSD, чтобы уместиться в оперативную память
- 4-бит/8-битстепень сжатия весов: чем ниже битность, тем меньше файл и точность
Связки из этого ролика
6 шт.- Mac Studio M5 Ultra
- unified memory
- GGUF
- MLX
- 4-bit quantization
- SSD offloading
Компоненты
6 шт.Формат: разбор · для практикующих · уверенность разметки 0.9 · источник