К содержимому
Дайджест

Magnitude быстрее Ollama, но не для всех

The Stack·20 октября 2026·12:11
можно прочитать выбрать инструмент промо
Открыть на YouTube
Разбор нового open-source движка Magnitude для локального запуска моделей: кому он подходит, а кому нет.

Что в ролике

Если вы уже запускаете открытые модели локально через Ollama, новый бесплатный движок Magnitude обещает ускорить генерацию в среднем в 2,2 раза, но реальная выгода зависит от модели и железа. На свежем запросе из 64 000 токенов чтение контекста занимает 84–98% времени, поэтому полный ответ ускоряется лишь примерно в 1,3 раза — например, Qwen 3.6 35B на Mac M4 Pro Max отрабатывает за 107 секунд вместо 134 у Ollama. Основной прирост скорости даёт спекулятивный драфтер — маленькая модель, которая предлагает варианты продолжения, а основная проверяет их пачкой; на предсказуемых текстах вроде пересказа «Моби Дика» ускорение доходит до 3,4 раза, на чате ниже. Каталог Magnitude намеренно узкий: 19 моделей от Qwen, Google, Nvidia, Meta, Liquid и Open BMB, без DeepSeek, Llama, Mistral и возможности подсунуть свой GGUF или файнтюн. По железу движок поддерживает Mac M1–M4, RTX 30 и новее или DGX Spark, но требует, чтобы модель целиком помещалась в видеопамять, и не работает с несколькими GPU, старыми Nvidia и AMD без проверенных бенчмарков. По первым отзывам вне вендорских тестов на M5 Max и RTX 5070 Ti llama.cpp часто оказывается быстрее, а на M5 Pro чтение промпта у Magnitude медленнее в 2,6 раза, поэтому выигрыш реален только на поддерживаемых конфигурациях. Автор советует не удалять Ollama, а поставить Magnitude рядом, подключить агента к одной и той же модели в обоих движках и замерить одну реальную задачу — только так видно, стоит ли переключать основной рабочий инструмент.

Практика

Что получишь
Поймёте, в каких случаях Magnitude действительно быстрее Ollama, и сможете без удаления старого движка проверить его на своей модели и железе.
Первый шаг
Установите Magnitude рядом с Ollama (у него свой порт), выберите поддерживаемую модель из каталога и замерьте время одного реального кодинг-запроса на той же задаче.
Цифры
  • —2,2 раза — заявленное среднее ускорение записи ответа у Magnitude относительно Ollama в его бенчмарке
  • —1,3 раза — во столько быстрее завершается полный ответ на свежий 64-тысячный промпт из-за доминирующего чтения контекста
  • —107 против 134 секунд — время ответа Qwen 3.6 35B на Mac M4 Pro Max в Magnitude и Ollama
  • —19 моделей — текущий каталог Magnitude против более чем 200 моделей в библиотеке Ollama
Честно
В середине ролика автор просит подписаться на канал и вступить в платное сообщество The Stack, где обещает показать свой продюкшн-воркфлоу; внешних спонсоров нет. Все цифры скорости взяты из бенчмарка самого Magnitude, в котором модели пересказывали «Моби Дика», а не выполняли реальную агентную задачу, и качество ответов не оценивалось. Для повторения понадобится посмотреть на экран: точный список 19 моделей, настройки подключения агентов и команды установки.
Если слова незнакомы — 4 терминов

Связки из этого ролика

5 шт.

Компоненты

9 шт.

Формат: обзор · для продвинутых · уверенность разметки 0.9 · источник