M5 Ultra ускоряет первый ответ, а не весь локальный ИИ

Что в ролике
Локальный запуск модели на M5 Ultra заметно ускоряет прежде всего тишину перед первым словом, а не генерацию всего ответа. В парном тесте Федерико Витиччи для MacStories на модели Qwen 3 8B FlashNext ввод примерно из 16 000 токенов давал первое слово за 13,9 секунды на M3 Ultra и за 5,6 секунды на M5 Ultra, при этом сравнивались 512 ГБ M3 и 256 ГБ M5, а не базовые конфигурации. Причина в разделении работы: префилл обрабатывает известный ввод параллельно, а декод генерирует слова по одному и упирается в пропускную способность памяти. Apple добавила в графические ядра M5 Ultra отдельные нейронные ускорители и заявляет до 4,5-кратного пикового GPU-вычисления для ИИ, а пропускную способность памяти подняла до 1,2 ТБ/с, то есть на 50% к M3 Ultra. В тестах MacStories генерация текста выросла со 70 до примерно 108 токенов в секунду, а RTX 5090 при самом длинном контексте всё равно оказалась быстрее за счёт 8-битного кэша внимания и другого ПО. Чтобы получить выигрыш, нужен софт с поддержкой новых ускорителей, например MLX с кэшированием промпта, и модель с ответами нужного качества после квантования, иначе быстрый ответ не спасёт от плохих результатов. Апгрейд оправдан при частой подаче длинных документов или нехватке памяти под локальную модель; базовый M5 Ultra стоит от $5 499 с 96 ГБ, а тестовая конфигурация была на 256 ГБ.
Практика
- Что получишь
- Понять, где M5 Ultra даёт реальный выигрыш — в задержке до первого слова на длинных документах, — а где улучшение скромное, и оценить, окупается ли апгрейд под вашу задачу.
- Первый шаг
- Прогнать на текущем Mac свою реальную модель с теми же настройками и замерить задержку первого слова на свежем длинном документе и на кэшированном повторном запросе.
- Цифры
- —13,9 секунды — задержка до первого слова на M3 Ultra при вводе примерно 16 000 токенов
- —5,6 секунды — та же задержка на M5 Ultra в парном тесте MacStories
- —108 токенов в секунду — скорость генерации текста на M5 Ultra против 70 у M3 Ultra
- —$5 499 — стартовая цена базового Mac Studio M5 Ultra с 96 ГБ в США
- Честно
- Конкретных скриптов или файлов для повторения теста автор не прикладывает, а ключевые цифры получены MacStories на небазовых конфигурациях (256 ГБ M5 и 512 ГБ M3). Автор просит подписаться, поставить лайк и оставить комментарий, но не продвигает платный продукт или курс. Для изображений, транскрипции, видео и агентных задач парных замеров нет, поэтому ускорение первого слова нельзя переносить на них.
Если слова незнакомы — 6 терминов
- префиллэтап, когда модель параллельно обрабатывает входящий текст до начала ответа
- декодэтап последовательной генерации ответа слово за словом
- пропускная способность памятисколько данных за секунду можно передать из памяти в процессор
- квантованиесжатие модели за счёт хранения чисел с меньшей точностью
- кэширование промптаповторное использование уже обработанной общей части запроса вместо пересчёта
- унифицированная памятьобщая память для процессора и графики в Apple silicon без копирования между отдельными модулями
Связки из этого ролика
1 шт.- Apple Silicon + MLX
Компоненты
2 шт.Формат: обзор · для практикующих · уверенность разметки 0.9 · источник