К содержимому
Дайджест

Neural Engine на Mac: двойная скорость, но с оговорками

The Stack·23 сентября 2026·8:05
можно прочитать понять, как устроено
Открыть на YouTube
Разбор отчёта о том, как перенос данных через Neural Engine может ускорить локальную генерацию текста на Mac, для тех, кто хочет понять реальные ограничения и как проверить прирост на своём железе.

Что в ролике

Если локальный чат на Mac выдаёт ответ медленно, разбор одного отчёта показывает, что узким местом может быть не вычисления, а перенос данных внутри чипа. Исследовательница Эйлин Юн сообщила, что смена маршрута данных через Neural Engine на M3 подняла Llama 3.2 1B с 10,0 до 24,3 токена в секунду, а Qwen 3 8B — с 1,36 до 2,97. Это замер скорости генерации текста, а не полного времени ответа, и воспроизведения пока нет. Автор объясняет, что llama.cpp и MLX по умолчанию используют GPU-маршруты, а Core ML может строить гибридный план для CPU, GPU и Neural Engine, но это не гарантирует, что все слои модели попадут на ANE. Проект ANEML даёт более прямой доступ к ANE с Python и Swift, но находится в исследовательской зоне. Для проверки на своём Mac нужно держать одинаковыми модель, промпт, контекст, точность и длину ответа, а измерять не только токены в секунду, но и время до первого токена и загрузку модели. Вывод такой: отчёт перспективен только для тех, кто реально использует Neural Engine, а не как обещание ускорить любой локальный AI вдвое.

Практика

Что получишь
Понимание, почему Neural Engine не включается сам по себе в привычных локальных инструментах, и готовый список условий для честного замера на своём Mac.
Первый шаг
Начните с выбора поддерживаемого маршрута и совместимой модели, например через Core ML или ANEML, до попыток низкоуровневых хаков.
Цифры
  • —10,0 и 24,3 токена в секунду — заявленный прирост Llama 3.21B на M3 после смены маршрута данных через Neural Engine.
  • —1,36 и 2,97 токена в секунду — заявленный прирост Qwen 3 8B в том же отчёте.
  • —1 МБ на ядро — порог, после которого, по наблюдению Юн, пропускная способность резко падает, если данные не разбить на части.
Честно
В ролике нет прямого продвижения продуктов, автор лишь просит подписаться на канал. Главная оговорка: результат 2x не воспроизведён автором и не подтверждён Apple, а готового релиза с ANE-фиксом нет. Конкретные команды и интерфейсы на экране не показаны, обсуждение идёт на уровне объяснения, поэтому повторить трюк можно только в исследовательских проектах.
Если слова незнакомы — 6 терминов

Связки из этого ролика

3 шт.

Компоненты

6 шт.

Формат: разбор · для практикующих · уверенность разметки 0.9 · источник