Четыре Mac Studio запускают 816B-модель Meta на 36 токенах/с

Что в ролике
Apple показала, как четыре M5 Ultra Mac Studio, соединённые Thunderbolt 5, запускают открытую модель Meta Muse Spark Open на 816 млрд параметров и выдают 36,73 токена в секунду. Модель использует mixture of experts: на каждый токен активируется около 42 млрд параметров, поэтому вычислительная нагрузка низкая, но веса всё равно занимают 493 ГБ после квантования в 4-битный NVFP4. Один Mac Studio с 512 ГБ памяти не вмещает всё, поэтому Apple применила распределённый инференс: на двух машинах пайплайн-параллелизм дал 15,74 токена/с, а тензорный параллелизм — 24,99 токена/с. Ключ к скорости — RDMA поверх Thunderbolt 5 и фреймворк MLX с бэкендом Jackal, которые позволяют машинам обмениваться промежуточными результатами с низкой задержкой. На четырёх машинах скорость поднялась до 36,73 токена/с, а время до первого токена сократилось с 8,2 до 4,8 секунды при контексте 8192 токенов. Также протестировали меньшую плотную модель на 27 млрд параметров: один Mac Studio дал 19,7 токена/с, четыре — 50,9 токена/с. Apple подчёркивает, что локальный кластер можно выставить через API и подключить к инструментам вроде Open Code, но стоимость четырёх машин стартует от 20 000 долларов без учёта памяти.
Практика
- Что получишь
- Понимание, как работает распределённый локальный запуск больших моделей на нескольких Mac, и при каких конфигурациях скорость растёт.
- Первый шаг
- Начните с изучения свежего MLX и поддержки RDMA в macOS — без них распределить модель по нескольким Mac не выйдет.
- Цифры
- —36,73 токена/с — скорость генерации 816B-модели на четырёх Mac Studio по данным Apple
- —493 ГБ — сколько занимают веса модели после 4-битного квантования NVFP4
- —24,99 токена/с — скорость на двух Mac с тензорным параллелизмом против 15,74 с пайплайн-параллелизмом
- —4,8 секунды — время до первого токена на четырёх машинах против 8,2 на двух
- Честно
- Автор не продаёт продукт и не даёт партнёрских ссылок, в конце лишь просит подписаться на канал. Все цифры — из отчёта Apple, независимого сравнения с GPU-серверами нет. Пошаговых команд настройки в ролике не показано, только результаты и схемы.
Если слова незнакомы — 8 терминов
- mixture of expertsархитектура модели, где на каждый запрос активируется лишь небольшая часть всех параметров
- квантованиесжатие весов модели до меньшей точности, чтобы они занимали меньше памяти
- NVFP44-битный формат хранения весов с пониженной точностью
- инференспроцесс генерации моделью ответа на запрос
- пайплайн-параллелизмспособ разбить модель по слоям между несколькими компьютерами
- тензорный параллелизмспособ разбить вычисления внутри одного слоя между машинами
- RDMAудалённый прямой доступ к памяти, позволяющий компьютерам обмениваться данными без лишней нагрузки на процессор
- MLXфреймворк Apple для машинного обучения на собственных чипах
Связки из этого ролика
2 шт.- MLX + Jackal + RDMA over Thunderbolt 5
- Mac Studio M5 Ultra cluster
Компоненты
7 шт.Формат: разбор · для практикующих · уверенность разметки 0.85 · источник