Ollama vs LM Studio: что быстрее при работе агентов

Что в ролике
Вы запускаете Cloud Code с локальной моделью на Mac Studio, и четыре подагента упираются в очередь: Ollama обрабатывает запросы строго по одному, потому что после обновления 0,40 от 25 сентября модели автоматически перешли на движок MLX, который не поддерживает параллельные запросы (issue #17280). В основе разницы лежит то, что Apple Silicon читает всю модель из памяти на каждый токен — для Qwen 3.8 27B в 4-битной квантизации это около 18 ГБ, и одновременная обработка нескольких запросов через непрерывный батчинг даёт до 2,7 раза больше суммарной скорости, чем очередь. LM Studio с февраля добавила continuous batching для MLX и по умолчанию держит 4 одновременных предсказания, а её экспериментальный бэкенд Splash от IncoAI добавляет ещё и спекулятивное декодирование; на 48 ГБ M5 Pro это даёт 170 токенов/с на четырёх потоках против 74 на одном. Реальный тест на 96 ГБ Mac: LM Studio выдала 557,5 токена/с против 103,8 у Ollama на 16 параллельных запросах, то есть разница в 5,4 раза. У Ollama есть свой козырь — спекулятивное декодирование с драфт-моделями Dash2 на MLX, которое удваивает скорость одиночного потока (90 токенов/с против 42–48 у LM Studio в тесте The Dark Factory). Но это не отменяет очереди, и для агентов, которые запускают 4–8 подагентов одновременно, начиная с 48 ГБ автор рекомендует LM Studio, а на 16–24 ГБ — Ollama. Отдельная боль — контекст: Ollama автоматически ставит 4000 токенов при памяти меньше 24 ГБ и 32000 при 24–48 ГБ, хотя Cloud Code может слать 33000 токенов первым запросом, а LM Studio из-за бага автоопределения может молча урезать контекст до 4096 вместо заданных 24576, поэтому проверять фактический контекст нужно командой ps в обоих приложениях.
Практика
- Что получишь
- Поймёте, почему локальная модель может молчать при параллельных запросах от агентов, и сможете выбрать подходящее приложение (Ollama для одиночных чатов, LM Studio для агентов на Mac от 48 ГБ), а также научитесь проверять фактическую длину контекста и настройки параллельности.
- Первый шаг
- Загрузите свою модель, выполните ollama ps или lms ps и сравните фактический контекст и параметры запуска с тем, что вы ожидали, а затем по таблице памяти выберите приложение.
- Цифры
- —5,4 раза — во сколько LM Studio обогнала Ollama в реальном тесте на 96 ГБ
- —18 ГБ — столько памяти читается из unified memory для Qwen 3.8 27B при 4-битной квантизации на каждый токен
- —557,5 против 103,8 токенов/с — суммарная скорость 16 параллельных потоков на 96 ГБ
- —2,68 раза — прирост суммарной скорости при 4 потоках на M5 Max 36 ГБ по данным Rapid MLX
- Честно
- Автор не продаёт курс, но в конце просит подписаться на канал, а все ссылки на бенчмарки и issue лежат в описании. Цифры Splash взяты у IncoAI (компании-разработчика), поэтому к ним стоит относиться с поправкой, и часть команд и настроек видна только на экране, так что для точного повторения лучше сверяться с видео.
Если слова незнакомы — 8 терминов
- агенты / подагентыпрограммы, которые сами выполняют задачи и могут запускать несколько параллельных запросов
- MLXфреймворк Apple для машинного обучения, оптимизированный под Apple Silicon
- continuous batching (непрерывный батчинг)обработка нескольких запросов одновременно за один проход модели, без очереди
- спекулятивное декодированиемаленькая быстрая модель угадывает следующие токены, а большая проверяет их, что ускоряет генерацию
- квантизациясжатие модели до меньшей точности, чтобы она занимала меньше памяти (например, 4-битная)
- токенединица текста, которую модель генерирует или читает (примерно слово или часть слова)
- контекстобъём текста (в токенах), который модель может держать в рабочей памяти
- GGUFформат файла модели, используемый движком llama.cpp, где работает параллельная обработка
Связки из этого ролика
3 шт.- Apple Silicon + MLX
- Ollama + llama.cpp
- LM Studio + MLX + Splash
Компоненты
8 шт.Формат: обзор · для продвинутых · уверенность разметки 0.85 · источник