Magnitude быстрее Ollama, но не для всех

Что в ролике
Если вы уже запускаете открытые модели локально через Ollama, новый бесплатный движок Magnitude обещает ускорить генерацию в среднем в 2,2 раза, но реальная выгода зависит от модели и железа. На свежем запросе из 64 000 токенов чтение контекста занимает 84–98% времени, поэтому полный ответ ускоряется лишь примерно в 1,3 раза — например, Qwen 3.6 35B на Mac M4 Pro Max отрабатывает за 107 секунд вместо 134 у Ollama. Основной прирост скорости даёт спекулятивный драфтер — маленькая модель, которая предлагает варианты продолжения, а основная проверяет их пачкой; на предсказуемых текстах вроде пересказа «Моби Дика» ускорение доходит до 3,4 раза, на чате ниже. Каталог Magnitude намеренно узкий: 19 моделей от Qwen, Google, Nvidia, Meta, Liquid и Open BMB, без DeepSeek, Llama, Mistral и возможности подсунуть свой GGUF или файнтюн. По железу движок поддерживает Mac M1–M4, RTX 30 и новее или DGX Spark, но требует, чтобы модель целиком помещалась в видеопамять, и не работает с несколькими GPU, старыми Nvidia и AMD без проверенных бенчмарков. По первым отзывам вне вендорских тестов на M5 Max и RTX 5070 Ti llama.cpp часто оказывается быстрее, а на M5 Pro чтение промпта у Magnitude медленнее в 2,6 раза, поэтому выигрыш реален только на поддерживаемых конфигурациях. Автор советует не удалять Ollama, а поставить Magnitude рядом, подключить агента к одной и той же модели в обоих движках и замерить одну реальную задачу — только так видно, стоит ли переключать основной рабочий инструмент.
Практика
- Что получишь
- Поймёте, в каких случаях Magnitude действительно быстрее Ollama, и сможете без удаления старого движка проверить его на своей модели и железе.
- Первый шаг
- Установите Magnitude рядом с Ollama (у него свой порт), выберите поддерживаемую модель из каталога и замерьте время одного реального кодинг-запроса на той же задаче.
- Цифры
- —2,2 раза — заявленное среднее ускорение записи ответа у Magnitude относительно Ollama в его бенчмарке
- —1,3 раза — во столько быстрее завершается полный ответ на свежий 64-тысячный промпт из-за доминирующего чтения контекста
- —107 против 134 секунд — время ответа Qwen 3.6 35B на Mac M4 Pro Max в Magnitude и Ollama
- —19 моделей — текущий каталог Magnitude против более чем 200 моделей в библиотеке Ollama
- Честно
- В середине ролика автор просит подписаться на канал и вступить в платное сообщество The Stack, где обещает показать свой продюкшн-воркфлоу; внешних спонсоров нет. Все цифры скорости взяты из бенчмарка самого Magnitude, в котором модели пересказывали «Моби Дика», а не выполняли реальную агентную задачу, и качество ответов не оценивалось. Для повторения понадобится посмотреть на экран: точный список 19 моделей, настройки подключения агентов и команды установки.
Если слова незнакомы — 4 терминов
- промпттекстовый запрос или контекст, который вы подаёте модели
- спекулятивный драфтермаленькая модель, которая быстро угадывает следующие слова, а основная модель проверяет их одной пачкой
- GGUFформат файла весов модели, который можно запускать в локальных движках
- файнтюндообученная версия модели под конкретные задачи
Связки из этого ролика
5 шт.- CUDA
- Vulkan
- ROCm
- GGUF
- SafeTensors
Компоненты
9 шт.Формат: обзор · для продвинутых · уверенность разметки 0.9 · источник