К содержимому
Дайджест

Какие модели влезают в 96 ГБ Mac Studio

The Stack·7 октября 2026·22:26
текст даёт основное понять, как устроено
Открыть на YouTube
Практический разбор того, какие локальные модели реально запускаются на базовом Mac Studio M5 Ultra с 96 ГБ, для тех, кто выбирает конфигурацию или модель под неё.

Что в ролике

Если вы смотрите на базовый Mac Studio M5 Ultra с 96 ГБ, реальный бюджет под модель — не 96, а около 77 ГБ (на свежих macOS ближе к 83 ГБ), потому что остальное система Mac OS резервирует под себя. Плотные модели до примерно 30 млрд параметров, например Qwen 27B в 4-бите (16,1 ГБ) или в 8-бите (29,5 ГБ), живут с большим запасом; 8-битная копия оставляет почти 50 ГБ под контекст и систему. Классические плотные 70 млрд, например Llama 70B в 4-бите (39,7 ГБ), влезают, но пишут лишь 24,5 токена в секунду на 64-ядерном M5 Ultra, а на длинном контексте 64k время до первого токена растёт до 175 секунд. Лучший баланс дают модели класса 120 млрд, построенные как смесь экспертов (MoE): OpenAI GPT-OSS 120B при файле 63,4 ГБ выдал 104,3 токена в секунду, потому что на токен активируется только 5,1 млрд параметров, а Qwen 122B в 4-бите занимает 69,6–76,5 ГБ и оставляет немного места под чат. Особый трюк — модель Qwen Flash Next, чей 4-битный файл 106–112 ГБ больше всей памяти, но OMLX научили держать 30 ГБ lookup-таблицы на SSD, и на M5 Ultra скорость держится от 82 до 93 токенов в секунду даже на 128k контексте. Модели класса 200 млрд не помещаются никак: DeepSeek V4 Flash в 4-бите весит около 155 ГБ, а GLM Flash даже в 1-бите занимает 93,1 ГБ, поэтому для них нужен Mac с 256 ГБ и доплата $4 000. Главная рекомендация — брать MoE 120B в 4-бите или 27B в 8-бите для максимального запаса, а плотные 70B пропускать, потому что они едят контекст и медленно пишут.

Практика

Что получишь
Вы узнаете реальный лимит памяти и какие семейства моделей выбирать, чтобы не получить падение с ошибкой out of memory и не переплачивать за конфигурацию с запасом.
Первый шаг
Откройте LM Studio и посмотрите максимальный объём видеопамяти в настройках — это ваш реальный лимит, от которого нужно отталкиваться при выборе файла.
Цифры
  • —77 ГБ — столько по умолчанию отдаётся графике из 96 ГБ на Mac Studio (в новых macOS до 83 ГБ)
  • —53,7 токена в секунду — скорость 4-битного Qwen 27B на 64-ядерном M5 Ultra из пользовательского бенчмарка
  • —104,3 токена в секунду — скорость OpenAI GPT-OSS 120B на том же чипе за счёт MoE-архитектуры
  • —155 ГБ — размер 4-битного DeepSeek V4 Flash, который не помещается в 96 ГБ
Честно
Автор просит подписаться, поставить лайк и оставить комментарий — это стандартная поддержка канала, внешней рекламы или партнёрских ссылок в ролике нет. Цифры для базовой 64-ядерной конфигурации собраны из публичных обзоров и пользовательских бенчмарков OMLX, а не из собственных тестов автора. Запуск Qwen Flash Next с оффлоадом таблицы на SSD работает только в OMLX; в приложениях на llama.cpp и GGUF тот же файл может падать с ошибкой памяти из-за бага, а для моделей 200B класса единственное решение — Mac с 256 ГБ и доплата $4 000; точные команды и логи показаны только на экране.
Если слова незнакомы — 6 терминов

Связки из этого ролика

6 шт.

Компоненты

6 шт.

Формат: разбор · для практикующих · уверенность разметки 0.9 · источник