Mac Studio M5 Ultra: локальный запуск больших моделей

Что в ролике
Если вы ждали Mac Studio с M5 Ultra ради локального запуска больших моделей, обзор BGR даёт конкретные цифры: на версии с 256 ГБ памяти бесплатная модель Qwen на 122 миллиарда параметров выдаёт около 80 токенов в секунду против 60 у M3 Ultra. Apple получила прирост за счёт памяти, которая читается на 50% быстрее, и в тестах новый Ultra в среднем на 30–40% быстрее предшественника. Базовая модель за 5 499 долларов включает 96 ГБ памяти, и в неё помещается 4-битная версия той же Qwen объёмом около 70 ГБ, тогда как 8-битная копия на 130 ГБ уже не влезает. Модели DeepSeek V4 Flash на 284 миллиарда параметров требуют 256 ГБ, а самые умные модели OpenAI, Anthropic и Google вообще нельзя скачать на любой объём памяти. По скорости записи Mac держится на уровне обычных облачных прокатов той же модели, но специализированные сервисы вроде Cerebras выдают около 1 800 токенов в секунду на меньшей Qwen, и это в 30 раз быстрее 55 токенов у M5 Ultra. Аренда большой Qwen в облаке 24 сентября стоила около 2 долларов за миллион токенов записи и 26 центов за миллион токенов чтения, поэтому 5 499 долларов на Mac окупаются только при круглосуточной работе агентов на приватных данных. Для обычного чата те же деньги покупают почти 23 года подписки Claude Pro, а сам ролик честно говорит: эта машина не уничтожает облако, а лишь убирает счётчик за токены для тяжёлой непрерывной работы.
Практика
- Что получишь
- Чёткое понимание, кому имеет смысл покупать базовый Mac Studio с M5 Ultra, а кому выгоднее облачная подписка, с конкретными цифрами по токенам и памяти.
- Первый шаг
- Если присматриваетесь к покупке, начните с подсчёта своего суточного расхода токенов на OpenRouter для нужной модели Qwen и сравните его с ценой 5 499 долларов.
- Цифры
- —80 токенов в секунду — скорость Qwen 122B на M5 Ultra с 256 ГБ памяти в тесте BGR
- —60 токенов в секунду — скорость той же модели на M3 Ultra
- —1 800 токенов в секунду — скорость Cerebras на меньшей Qwen, в 30 раз быстрее M5 Ultra
- —5 499 долларов — цена базового Mac Studio с M5 Ultra, 96 ГБ памяти и 1 ТБ накопителя
- Честно
- В середине ролика автор просит подписаться на канал, если вам полезны такие сравнения. Все цифры скорости сняты на топовой конфигурации с 256 ГБ памяти, а базовую версию за 5 499 долларов ещё никто не тестировал. Подробных настроек и команд на экране нет: это пересказ выводов BGR, для повторения тестов нужно открывать сам обзор.
Если слова незнакомы — 4 терминов
- токенчасть слова или слово, которое модель читает или пишет за один шаг
- параметрычисла, которые модель запомнила при обучении и которые определяют её ответы
- 4-битная версиясжатие модели, при котором каждое число занимает полбайта, чтобы файл помещался в память
- агентыпрограммы, которые выполняют многошаговую работу сами и на каждом шаге заново отправляют модели инструкции
Связки из этого ролика
2 шт.- Apple Silicon + llama.cpp
- OpenRouter cloud hosting
Компоненты
10 шт.Формат: обзор · для практикующих · уверенность разметки 0.85 · источник