К содержимому
Дайджест

Локальный ИИ на Mac: почему M1 Max быстрее M6

Kai·30 сентября 2026·16:21
можно прочитать понять, как устроено
Открыть на YouTube
Разбор того, как разные чипы Apple M1–M6 ведут себя в локальных ИИ-задачах, для тех, кто выбирает или уже использует Mac под локальные модели.

Что в ролике

Если вы смотрите на графики «каждое поколение Mac быстрее предыдущего», для локального ИИ это только половина картины: у чипа две задачи — чтение промпта (prefill) и генерация ответа (decode), и вторая упирается в пропускную способность памяти, а не в вычислительные блоки. Поэтому M1 Max с 400 ГБ/с выдаёт около 19,8 токена в секунду на 16-гигабайтной 27B-модели, а новый M6 Mac mini со 170 ГБ/с — только 9,7, то есть вдвое медленнее. Лесенка из обзоров обычно считает только скорость чтения по формуле, тогда как реальные замеры в GitHub-треде llama.cpp переворачивают её: M1 Max пишет 61 токен/с, M4 Pro — 51, а M3 Pro из-за урезанной ширины памяти оказался на 20% медленнее M2 Pro. Настоящий скачок дал M5: его neural accelerator поднимает чтение промпта с 886 до 3220 токенов в секунду на M4 Max против M5 Max, то есть в 3,6 раза. Поэтому для агентов, которые каждым вызовом отправляют 30 000 токенов контекста, M5 Max снижает ожидание первого токена с 8,5 минут у M1 Max до менее минуты, а для обычного чата с короткими вопросами M1 Max остаётся выгоднее. Ещё важнее памяти: 16 ГБ машина отдаёт GPU только 12,7 ГБ, так что 27B-модель в 4 битах на неё не помещается, 32 ГБ — минимум для повседневной работы, а 64 ГБ даёт запас под контекст. Наконец, софт меняет всё: на M6 обычный MLX даёт 9 токенов/с, multi-token prediction — 16–19, движок Splash — 52, а speculative decoding на M5 Max разогнался до 144 токенов/с при теоретическом потолке около 38.

Практика

Что получишь
Поймёте, какой параметр Mac действительно определяет скорость ответа локальной модели, и на какие тесты смотреть, чтобы не переплатить за новый чип. Сможете оценить свою машину по схеме «память → пропускная способность → поколение» и попробовать бесплатные программные ускорители.
Первый шаг
Проверьте в спецификации своей машины объём памяти и пропускную способность (ГБ/с), а затем рассчитайте теоретический потолок скорости как bandwidth, делённую на размер модели.
Цифры
  • —400 ГБ/с против 170 ГБ/с — пропускная способность памяти M1 Max и M6 Mac mini, из-за чего M1 Max генерирует вдвое быстрее
  • —9,7 токена/с на M6 и 19,8 на M1 Max — реальная скорость генерации одной и той же 16 ГБ модели
  • —3220 токенов/с против 886 — скорость чтения промпта M5 Max и M4 Max: прирост в 3,6 раза
  • —144 токена/с — скорость генерации M5 Max со speculative decoding при теоретическом потолке около 38 токенов/с
Честно
Платных продуктов и партнёрских ссылок в ролике нет — только просьба поставить лайк и поделиться своими замерами. Все цифры взяты из открытого GitHub-треда llama.cpp и реальных замеров владельцев, но автор не прикладывает готовые команды или пошаговую инструкцию для повторения бенчмарков.
Если слова незнакомы — 8 терминов

Компоненты

3 шт.

Формат: разбор · для практикующих · уверенность разметки 0.9 · источник