К содержимому
Дайджест

Ollama vs LM Studio: что быстрее при работе агентов

Kai·8 ноября 2026·27:56
текст даёт основное выбрать инструмент пошагово
Открыть на YouTube
Технический разбор того, почему локальные модели на Mac тормозят при параллельных запросах от агентов, и сравнение Ollama и LM Studio для выбора подходящего приложения.

Что в ролике

Вы запускаете Cloud Code с локальной моделью на Mac Studio, и четыре подагента упираются в очередь: Ollama обрабатывает запросы строго по одному, потому что после обновления 0,40 от 25 сентября модели автоматически перешли на движок MLX, который не поддерживает параллельные запросы (issue #17280). В основе разницы лежит то, что Apple Silicon читает всю модель из памяти на каждый токен — для Qwen 3.8 27B в 4-битной квантизации это около 18 ГБ, и одновременная обработка нескольких запросов через непрерывный батчинг даёт до 2,7 раза больше суммарной скорости, чем очередь. LM Studio с февраля добавила continuous batching для MLX и по умолчанию держит 4 одновременных предсказания, а её экспериментальный бэкенд Splash от IncoAI добавляет ещё и спекулятивное декодирование; на 48 ГБ M5 Pro это даёт 170 токенов/с на четырёх потоках против 74 на одном. Реальный тест на 96 ГБ Mac: LM Studio выдала 557,5 токена/с против 103,8 у Ollama на 16 параллельных запросах, то есть разница в 5,4 раза. У Ollama есть свой козырь — спекулятивное декодирование с драфт-моделями Dash2 на MLX, которое удваивает скорость одиночного потока (90 токенов/с против 42–48 у LM Studio в тесте The Dark Factory). Но это не отменяет очереди, и для агентов, которые запускают 4–8 подагентов одновременно, начиная с 48 ГБ автор рекомендует LM Studio, а на 16–24 ГБ — Ollama. Отдельная боль — контекст: Ollama автоматически ставит 4000 токенов при памяти меньше 24 ГБ и 32000 при 24–48 ГБ, хотя Cloud Code может слать 33000 токенов первым запросом, а LM Studio из-за бага автоопределения может молча урезать контекст до 4096 вместо заданных 24576, поэтому проверять фактический контекст нужно командой ps в обоих приложениях.

Практика

Что получишь
Поймёте, почему локальная модель может молчать при параллельных запросах от агентов, и сможете выбрать подходящее приложение (Ollama для одиночных чатов, LM Studio для агентов на Mac от 48 ГБ), а также научитесь проверять фактическую длину контекста и настройки параллельности.
Первый шаг
Загрузите свою модель, выполните ollama ps или lms ps и сравните фактический контекст и параметры запуска с тем, что вы ожидали, а затем по таблице памяти выберите приложение.
Цифры
  • —5,4 раза — во сколько LM Studio обогнала Ollama в реальном тесте на 96 ГБ
  • —18 ГБ — столько памяти читается из unified memory для Qwen 3.8 27B при 4-битной квантизации на каждый токен
  • —557,5 против 103,8 токенов/с — суммарная скорость 16 параллельных потоков на 96 ГБ
  • —2,68 раза — прирост суммарной скорости при 4 потоках на M5 Max 36 ГБ по данным Rapid MLX
Честно
Автор не продаёт курс, но в конце просит подписаться на канал, а все ссылки на бенчмарки и issue лежат в описании. Цифры Splash взяты у IncoAI (компании-разработчика), поэтому к ним стоит относиться с поправкой, и часть команд и настроек видна только на экране, так что для точного повторения лучше сверяться с видео.
Если слова незнакомы — 8 терминов

Связки из этого ролика

3 шт.

Компоненты

8 шт.

Формат: обзор · для продвинутых · уверенность разметки 0.85 · источник