Локальный ИИ на Mac: почему M1 Max быстрее M6

Что в ролике
Если вы смотрите на графики «каждое поколение Mac быстрее предыдущего», для локального ИИ это только половина картины: у чипа две задачи — чтение промпта (prefill) и генерация ответа (decode), и вторая упирается в пропускную способность памяти, а не в вычислительные блоки. Поэтому M1 Max с 400 ГБ/с выдаёт около 19,8 токена в секунду на 16-гигабайтной 27B-модели, а новый M6 Mac mini со 170 ГБ/с — только 9,7, то есть вдвое медленнее. Лесенка из обзоров обычно считает только скорость чтения по формуле, тогда как реальные замеры в GitHub-треде llama.cpp переворачивают её: M1 Max пишет 61 токен/с, M4 Pro — 51, а M3 Pro из-за урезанной ширины памяти оказался на 20% медленнее M2 Pro. Настоящий скачок дал M5: его neural accelerator поднимает чтение промпта с 886 до 3220 токенов в секунду на M4 Max против M5 Max, то есть в 3,6 раза. Поэтому для агентов, которые каждым вызовом отправляют 30 000 токенов контекста, M5 Max снижает ожидание первого токена с 8,5 минут у M1 Max до менее минуты, а для обычного чата с короткими вопросами M1 Max остаётся выгоднее. Ещё важнее памяти: 16 ГБ машина отдаёт GPU только 12,7 ГБ, так что 27B-модель в 4 битах на неё не помещается, 32 ГБ — минимум для повседневной работы, а 64 ГБ даёт запас под контекст. Наконец, софт меняет всё: на M6 обычный MLX даёт 9 токенов/с, multi-token prediction — 16–19, движок Splash — 52, а speculative decoding на M5 Max разогнался до 144 токенов/с при теоретическом потолке около 38.
Практика
- Что получишь
- Поймёте, какой параметр Mac действительно определяет скорость ответа локальной модели, и на какие тесты смотреть, чтобы не переплатить за новый чип. Сможете оценить свою машину по схеме «память → пропускная способность → поколение» и попробовать бесплатные программные ускорители.
- Первый шаг
- Проверьте в спецификации своей машины объём памяти и пропускную способность (ГБ/с), а затем рассчитайте теоретический потолок скорости как bandwidth, делённую на размер модели.
- Цифры
- —400 ГБ/с против 170 ГБ/с — пропускная способность памяти M1 Max и M6 Mac mini, из-за чего M1 Max генерирует вдвое быстрее
- —9,7 токена/с на M6 и 19,8 на M1 Max — реальная скорость генерации одной и той же 16 ГБ модели
- —3220 токенов/с против 886 — скорость чтения промпта M5 Max и M4 Max: прирост в 3,6 раза
- —144 токена/с — скорость генерации M5 Max со speculative decoding при теоретическом потолке около 38 токенов/с
- Честно
- Платных продуктов и партнёрских ссылок в ролике нет — только просьба поставить лайк и поделиться своими замерами. Все цифры взяты из открытого GitHub-треда llama.cpp и реальных замеров владельцев, но автор не прикладывает готовые команды или пошаговую инструкцию для повторения бенчмарков.
Если слова незнакомы — 8 терминов
- токенединица текста, которую модель генерирует за один шаг — слово или часть слова
- prefillфаза чтения промпта, когда модель обрабатывает весь входной текст сразу
- decodeфаза генерации ответа по одному токену
- пропускная способность памятисколько гигабайт данных чип может прокачать за секунду
- neural acceleratorматричный блок в GPU чипов M5, ускоряющий вычисления фазы prefill
- speculative decodingприём, при котором маленькая модель угадывает несколько токенов, а большая проверяет их за один проход
- MLXбиблиотека Apple для запуска моделей на чипах Apple Silicon
- Splashдвижок запуска локальных моделей, показывающий более высокую скорость генерации
Компоненты
3 шт.Формат: разбор · для практикующих · уверенность разметки 0.9 · источник