К содержимому
Дайджест

Четыре Mac Studio запускают 816B-модель Meta на 36 токенах/с

Code Unpacked·19 октября 2026·13:40
можно прочитать понять, как устроено
Открыть на YouTube
Разбор демонстрации Apple, где четыре M5 Ultra Mac Studio по Thunderbolt 5 совместно запускают открытую модель Meta Muse Spark Open на 816 млрд параметров локально — для тех, кто интересуется локальным запуском больших ИИ.

Что в ролике

Apple показала, как четыре M5 Ultra Mac Studio, соединённые Thunderbolt 5, запускают открытую модель Meta Muse Spark Open на 816 млрд параметров и выдают 36,73 токена в секунду. Модель использует mixture of experts: на каждый токен активируется около 42 млрд параметров, поэтому вычислительная нагрузка низкая, но веса всё равно занимают 493 ГБ после квантования в 4-битный NVFP4. Один Mac Studio с 512 ГБ памяти не вмещает всё, поэтому Apple применила распределённый инференс: на двух машинах пайплайн-параллелизм дал 15,74 токена/с, а тензорный параллелизм — 24,99 токена/с. Ключ к скорости — RDMA поверх Thunderbolt 5 и фреймворк MLX с бэкендом Jackal, которые позволяют машинам обмениваться промежуточными результатами с низкой задержкой. На четырёх машинах скорость поднялась до 36,73 токена/с, а время до первого токена сократилось с 8,2 до 4,8 секунды при контексте 8192 токенов. Также протестировали меньшую плотную модель на 27 млрд параметров: один Mac Studio дал 19,7 токена/с, четыре — 50,9 токена/с. Apple подчёркивает, что локальный кластер можно выставить через API и подключить к инструментам вроде Open Code, но стоимость четырёх машин стартует от 20 000 долларов без учёта памяти.

Практика

Что получишь
Понимание, как работает распределённый локальный запуск больших моделей на нескольких Mac, и при каких конфигурациях скорость растёт.
Первый шаг
Начните с изучения свежего MLX и поддержки RDMA в macOS — без них распределить модель по нескольким Mac не выйдет.
Цифры
  • —36,73 токена/с — скорость генерации 816B-модели на четырёх Mac Studio по данным Apple
  • —493 ГБ — сколько занимают веса модели после 4-битного квантования NVFP4
  • —24,99 токена/с — скорость на двух Mac с тензорным параллелизмом против 15,74 с пайплайн-параллелизмом
  • —4,8 секунды — время до первого токена на четырёх машинах против 8,2 на двух
Честно
Автор не продаёт продукт и не даёт партнёрских ссылок, в конце лишь просит подписаться на канал. Все цифры — из отчёта Apple, независимого сравнения с GPU-серверами нет. Пошаговых команд настройки в ролике не показано, только результаты и схемы.
Если слова незнакомы — 8 терминов

Связки из этого ролика

2 шт.

Компоненты

7 шт.

Формат: разбор · для практикующих · уверенность разметки 0.85 · источник