Magnitude: движок, который сам тюнится под ваш Mac

Что в ролике
Magnitude — новый открытый движок для локального запуска моделей, который вместо одинаковых предкомпилированных ядер прогоняет несколько конфигураций прямо на вашем Mac, замеряет их скорость и оставляет самую быструю — тюнинг занимает около минуты. Автор ставит ту же модель Q8 в llama.cpp и Magnitude и смотрит на токены в секунду, но главное различие не в чате: движок в один клик подключается к Claude Code, Codex и OpenCode через совместимые с OpenAI и Anthropic API на localhost. Внутри движок написан на Rust, использует числовой компилятор Seismic с бэкендами под CPU, Metal, CUDA и Vulkan, а для агентов делит кэш промптов между сессиями, сжимает KV-кэш и выгружает простаивающие модели. Заявленный рост почти в два раза получен на M4 Pro с 48 ГБ: модель Qwen 35B A3B на 4 битах с контекстом 64 000 показала декод 57 токенов в секунду против 30 у llama.cpp, но префилл ускорился лишь на 9%, а при тесте с «Моби Диком» на Nvidia DGX Spark прибавка упала до 19%. Независимые замеры ещё запутаннее: на M5 Max Rapid MLX выдал 175 токенов в секунду против 161 у Magnitude, а в других тестах llama.cpp обгонял Magnitude вдвое на M5 Max и RTX 5070 Ti или был на 20–30% быстрее. Сейчас это ранняя сборка с пятью релизами за четыре дня, в библиотеке около 15 моделей не ниже 4 бит, загрузки своих GGUF нет, а модели складываются в скрытую папку, которая не удаляется вместе с приложением. Вывод автора: на M1–M4 для локальных кодинг-агентов Magnitude удобен из-за кнопки подключения Claude Code, а на M5 или для продакшена стоит подождать официального сравнения с MLX.
Практика
- Что получишь
- Поймёте, чем Magnitude отличается от llama.cpp и MLX, и стоит ли ставить его под локальных кодинг-агентов на вашем Mac.
- Первый шаг
- Скачать Magnitude с GitHub, открыть вкладку Discover и дать движку подобрать модель и прогнать тюнинг под ваше железо.
- Цифры
- —57 против 30 токенов в секунду — декод модели Qwen 35B A3B на M4 Pro в тесте Magnitude против llama.cpp
- —9% — настолько ускорился префилл в том же тесте, хотя декод вырос почти вдвое
- —19% — прибавка декода, когда тест повторили на Nvidia DGX Spark с контекстом 64 000 токенов
- —175 против 161 токенов в секунду — результат Rapid MLX против Magnitude на M5 Max у независимого тестировщика
- Честно
- Ролик от канала Better Stack, в конце автор просит подписаться, но прямого продвижения платного продукта нет. Все цифры бенчмарков и кнопка подключения показаны на экране, в тексте их подробности не воспроизведены. Для повторения нужен Mac с macOS 13 или новее, на Intel — только CPU, а загруженные модели после удаления приложения придётся чистить вручную.
Если слова незнакомы — 8 терминов
- движокпрограмма, которая выполняет модель и управляет вычислениями, обычно локально
- ядра/kernelsпредкомпилированные куски кода под конкретное железо, влияющие на скорость
- тюнингавтоматический подбор настроек под конкретную машину
- префиллэтап, на котором движок читает и обрабатывает ваш запрос перед генерацией
- декодэтап генерации ответа по одному токену; именно его скорость ощущается при работе агента
- KV-кэшкратковременная память модели, где хранятся уже обработанные части разговора
- GGUFформат файла модели, распространённый для локального запуска
- APIспособ для программ общаться друг с другом; здесь — совместимые интерфейсы для подключения Claude Code, Codex и других
Связки из этого ролика
5 шт.- Rust
- Metal
- CUDA
- Vulkan
- Apple Silicon
Компоненты
8 шт.Формат: обзор · для продвинутых · уверенность разметки 0.9 · источник