Neural Engine на Mac: двойная скорость, но с оговорками

Что в ролике
Если локальный чат на Mac выдаёт ответ медленно, разбор одного отчёта показывает, что узким местом может быть не вычисления, а перенос данных внутри чипа. Исследовательница Эйлин Юн сообщила, что смена маршрута данных через Neural Engine на M3 подняла Llama 3.2 1B с 10,0 до 24,3 токена в секунду, а Qwen 3 8B — с 1,36 до 2,97. Это замер скорости генерации текста, а не полного времени ответа, и воспроизведения пока нет. Автор объясняет, что llama.cpp и MLX по умолчанию используют GPU-маршруты, а Core ML может строить гибридный план для CPU, GPU и Neural Engine, но это не гарантирует, что все слои модели попадут на ANE. Проект ANEML даёт более прямой доступ к ANE с Python и Swift, но находится в исследовательской зоне. Для проверки на своём Mac нужно держать одинаковыми модель, промпт, контекст, точность и длину ответа, а измерять не только токены в секунду, но и время до первого токена и загрузку модели. Вывод такой: отчёт перспективен только для тех, кто реально использует Neural Engine, а не как обещание ускорить любой локальный AI вдвое.
Практика
- Что получишь
- Понимание, почему Neural Engine не включается сам по себе в привычных локальных инструментах, и готовый список условий для честного замера на своём Mac.
- Первый шаг
- Начните с выбора поддерживаемого маршрута и совместимой модели, например через Core ML или ANEML, до попыток низкоуровневых хаков.
- Цифры
- —10,0 и 24,3 токена в секунду — заявленный прирост Llama 3.21B на M3 после смены маршрута данных через Neural Engine.
- —1,36 и 2,97 токена в секунду — заявленный прирост Qwen 3 8B в том же отчёте.
- —1 МБ на ядро — порог, после которого, по наблюдению Юн, пропускная способность резко падает, если данные не разбить на части.
- Честно
- В ролике нет прямого продвижения продуктов, автор лишь просит подписаться на канал. Главная оговорка: результат 2x не воспроизведён автором и не подтверждён Apple, а готового релиза с ANE-фиксом нет. Конкретные команды и интерфейсы на экране не показаны, обсуждение идёт на уровне объяснения, поэтому повторить трюк можно только в исследовательских проектах.
Если слова незнакомы — 6 терминов
- Neural Engineаппаратный блок в чипах Apple для ускорения задач машинного обучения
- токенкусок сгенерированного текста, по которому считают скорость генерации
- Core MLинструмент Apple для запуска моделей на CPU, GPU и Neural Engine
- ANEсокращение Apple Neural Engine
- промпттекст вопроса, который вы отправляете модели
- контекстобъём текста, который модель обрабатывает и помнит
Связки из этого ролика
3 шт.- Llama 3.2 1B
- Qwen 3 8B
- Apple Silicon
Компоненты
6 шт.Формат: разбор · для практикующих · уверенность разметки 0.9 · источник