К содержимому
Дайджест

M5 Ultra ускоряет первый ответ, а не весь локальный ИИ

The Stack·3 октября 2026·11:21
можно прочитать выбрать инструмент
Открыть на YouTube
Разбор Mac Studio M5 Ultra для тех, кто запускает модели локально и хочет понять, где новый чип действительно экономит время.

Что в ролике

Локальный запуск модели на M5 Ultra заметно ускоряет прежде всего тишину перед первым словом, а не генерацию всего ответа. В парном тесте Федерико Витиччи для MacStories на модели Qwen 3 8B FlashNext ввод примерно из 16 000 токенов давал первое слово за 13,9 секунды на M3 Ultra и за 5,6 секунды на M5 Ultra, при этом сравнивались 512 ГБ M3 и 256 ГБ M5, а не базовые конфигурации. Причина в разделении работы: префилл обрабатывает известный ввод параллельно, а декод генерирует слова по одному и упирается в пропускную способность памяти. Apple добавила в графические ядра M5 Ultra отдельные нейронные ускорители и заявляет до 4,5-кратного пикового GPU-вычисления для ИИ, а пропускную способность памяти подняла до 1,2 ТБ/с, то есть на 50% к M3 Ultra. В тестах MacStories генерация текста выросла со 70 до примерно 108 токенов в секунду, а RTX 5090 при самом длинном контексте всё равно оказалась быстрее за счёт 8-битного кэша внимания и другого ПО. Чтобы получить выигрыш, нужен софт с поддержкой новых ускорителей, например MLX с кэшированием промпта, и модель с ответами нужного качества после квантования, иначе быстрый ответ не спасёт от плохих результатов. Апгрейд оправдан при частой подаче длинных документов или нехватке памяти под локальную модель; базовый M5 Ultra стоит от $5 499 с 96 ГБ, а тестовая конфигурация была на 256 ГБ.

Практика

Что получишь
Понять, где M5 Ultra даёт реальный выигрыш — в задержке до первого слова на длинных документах, — а где улучшение скромное, и оценить, окупается ли апгрейд под вашу задачу.
Первый шаг
Прогнать на текущем Mac свою реальную модель с теми же настройками и замерить задержку первого слова на свежем длинном документе и на кэшированном повторном запросе.
Цифры
  • —13,9 секунды — задержка до первого слова на M3 Ultra при вводе примерно 16 000 токенов
  • —5,6 секунды — та же задержка на M5 Ultra в парном тесте MacStories
  • —108 токенов в секунду — скорость генерации текста на M5 Ultra против 70 у M3 Ultra
  • —$5 499 — стартовая цена базового Mac Studio M5 Ultra с 96 ГБ в США
Честно
Конкретных скриптов или файлов для повторения теста автор не прикладывает, а ключевые цифры получены MacStories на небазовых конфигурациях (256 ГБ M5 и 512 ГБ M3). Автор просит подписаться, поставить лайк и оставить комментарий, но не продвигает платный продукт или курс. Для изображений, транскрипции, видео и агентных задач парных замеров нет, поэтому ускорение первого слова нельзя переносить на них.
Если слова незнакомы — 6 терминов

Связки из этого ролика

1 шт.

Компоненты

2 шт.

Формат: обзор · для практикующих · уверенность разметки 0.9 · источник