К содержимому
Дайджест

Magnitude: движок, который сам тюнится под ваш Mac

Better Stack·9 октября 2026·8:01
текст даёт основное выбрать инструмент
Открыть на YouTube
Разбор открытого движка Magnitude для локального запуска моделей: автор сравнивает его с llama.cpp и MLX на Mac и проверяет реальную прибавку скорости.

Что в ролике

Magnitude — новый открытый движок для локального запуска моделей, который вместо одинаковых предкомпилированных ядер прогоняет несколько конфигураций прямо на вашем Mac, замеряет их скорость и оставляет самую быструю — тюнинг занимает около минуты. Автор ставит ту же модель Q8 в llama.cpp и Magnitude и смотрит на токены в секунду, но главное различие не в чате: движок в один клик подключается к Claude Code, Codex и OpenCode через совместимые с OpenAI и Anthropic API на localhost. Внутри движок написан на Rust, использует числовой компилятор Seismic с бэкендами под CPU, Metal, CUDA и Vulkan, а для агентов делит кэш промптов между сессиями, сжимает KV-кэш и выгружает простаивающие модели. Заявленный рост почти в два раза получен на M4 Pro с 48 ГБ: модель Qwen 35B A3B на 4 битах с контекстом 64 000 показала декод 57 токенов в секунду против 30 у llama.cpp, но префилл ускорился лишь на 9%, а при тесте с «Моби Диком» на Nvidia DGX Spark прибавка упала до 19%. Независимые замеры ещё запутаннее: на M5 Max Rapid MLX выдал 175 токенов в секунду против 161 у Magnitude, а в других тестах llama.cpp обгонял Magnitude вдвое на M5 Max и RTX 5070 Ti или был на 20–30% быстрее. Сейчас это ранняя сборка с пятью релизами за четыре дня, в библиотеке около 15 моделей не ниже 4 бит, загрузки своих GGUF нет, а модели складываются в скрытую папку, которая не удаляется вместе с приложением. Вывод автора: на M1–M4 для локальных кодинг-агентов Magnitude удобен из-за кнопки подключения Claude Code, а на M5 или для продакшена стоит подождать официального сравнения с MLX.

Практика

Что получишь
Поймёте, чем Magnitude отличается от llama.cpp и MLX, и стоит ли ставить его под локальных кодинг-агентов на вашем Mac.
Первый шаг
Скачать Magnitude с GitHub, открыть вкладку Discover и дать движку подобрать модель и прогнать тюнинг под ваше железо.
Цифры
  • —57 против 30 токенов в секунду — декод модели Qwen 35B A3B на M4 Pro в тесте Magnitude против llama.cpp
  • —9% — настолько ускорился префилл в том же тесте, хотя декод вырос почти вдвое
  • —19% — прибавка декода, когда тест повторили на Nvidia DGX Spark с контекстом 64 000 токенов
  • —175 против 161 токенов в секунду — результат Rapid MLX против Magnitude на M5 Max у независимого тестировщика
Честно
Ролик от канала Better Stack, в конце автор просит подписаться, но прямого продвижения платного продукта нет. Все цифры бенчмарков и кнопка подключения показаны на экране, в тексте их подробности не воспроизведены. Для повторения нужен Mac с macOS 13 или новее, на Intel — только CPU, а загруженные модели после удаления приложения придётся чистить вручную.
Если слова незнакомы — 8 терминов

Связки из этого ролика

5 шт.

Компоненты

8 шт.

Формат: обзор · для продвинутых · уверенность разметки 0.9 · источник