К содержимому
Дайджест

KoboldCpp против Ollama: один файл или сервис

The Stack·17 сентября 2026·14:32
можно прочитать выбрать инструмент
Открыть на YouTube
Разбор по исходникам и метаданным GitHub, чем на самом деле отличаются два движка для локального запуска моделей — для тех, кто выбирает, что поставить себе на машину.

Что в ролике

Если вы выбираете движок для локального запуска моделей, ловушка в том, что оба кандидата работают на одном и том же llama-cpp, и вся разница сводится к настройкам, которые кто-то выбрал за вас. KoboldCpp — один файл на 606 МБ, и внутри уже есть генерация картинок по семи семействам моделей, видео, распознавание речи на Whisper и свой интерфейс для письма; Ollama приезжает установщиком на 1 501 МБ, хотя скачивают его примерно в 30 раз чаще. Проверка родословной показывает, что KoboldCpp — форк llama-cpp с датой от 16 марта 2023 года, то есть через 6 дней после появления самого движка, и он честно называет родителя в readme, а Ollama появилась в июне 2023 года и держит свою версию движка файлом-пином, к которому применяет патчи совместимости. Репутационный спор оказался ничьей: у главного разработчика KoboldCpp ровно 6 замерженных коммитов в llama-cpp, а у пяти мейнтейнеров Ollama — 7 коммитов от четырёх человек, хотя именно Ollama чаще обвиняют в потребительстве. Главное различие — в количестве решений, оставленных пользователю: у Ollama в описании API восемь опций (seed, temperature, top k, top p, min p, stop, num ctx и num predict), а у KoboldCpp в структуре запроса 56 полей и 165 флагов командной строки, включая грамматику, запрещённые токены и настраиваемый порядок сэмплеров. Громкий баг-репорт о падении скорости закрылся на следующее утро: мейнтейнер объяснил разницу выбранной опцией низкой VRAM и выключенным flash attention, а не дефектом движка. Отдельно разобраны дефолты по контексту: Ollama сама читает видеопамять и при карте меньше 24 ГБ выдаёт всего 4 000 токенов, хотя в её же документации для веб-поиска, агентов и кода указано 64 000, а контекст-шифтинг, который раньше был козырем KoboldCpp, теперь есть и в Ollama. Вывод: Ollama — тихая инфраструктура под другие инструменты, KoboldCpp — мастерская с 56 полями, а совместимость с API Ollama (KoboldCpp отвечает на тот же эндпоинт и подменяет номер версии, отставая на 27 минорных релизов) означает, что переключиться можно без переписывания клиента.

Практика

Что получишь
Поймёте, что оба движка стоят на одном фундаменте, и сможете выбрать между тихой инфраструктурой и мастерской с ручными настройками, а также проверить, не режет ли ваш текущий движок контекст по умолчанию.
Первый шаг
Посмотрите, какой контекст выдаёт ваша установка Ollama: если видеокарта меньше 24 ГБ, там по умолчанию 4 000 токенов, и это значение стоит поднять руками.
Цифры
  • —606 МБ против 1 501 МБ — размер одного файла KoboldCpp и установщика Ollama
  • —8 опций против 56 полей — столько настроек документирует API Ollama и объявляет структура запроса у KoboldCpp
  • —1 490 против 34 токенов в секунду — чтение промпта у модели на 70 млрд в баг-репорте, где KoboldCpp оказался в 44 раза медленнее при неверных настройках
  • —4 000 токенов контекста — столько Ollama выдаёт по умолчанию на карте с памятью меньше 24 ГБ, хотя её же документация называет 64 000
Честно
Автор ничего не продаёт: это разбор исходников и метаданных GitHub, а не собственные замеры. Цифры по скорости взяты из чужого баг-репорта 1780, который закрыли на следующее утро после смены настроек, поэтому разница в 44 раза — история про неверные дефолты, а не про движок. Повторять здесь нечего: воспроизводимых шагов в ролике нет, а детали вроде полей API и флагов читаются с экрана.
Если слова незнакомы — 12 терминов

Связки из этого ролика

6 шт.

Компоненты

16 шт.

Формат: обзор · для практикующих · уверенность разметки 0.82 · источник