KoboldCpp против Ollama: один файл или сервис

Что в ролике
Если вы выбираете движок для локального запуска моделей, ловушка в том, что оба кандидата работают на одном и том же llama-cpp, и вся разница сводится к настройкам, которые кто-то выбрал за вас. KoboldCpp — один файл на 606 МБ, и внутри уже есть генерация картинок по семи семействам моделей, видео, распознавание речи на Whisper и свой интерфейс для письма; Ollama приезжает установщиком на 1 501 МБ, хотя скачивают его примерно в 30 раз чаще. Проверка родословной показывает, что KoboldCpp — форк llama-cpp с датой от 16 марта 2023 года, то есть через 6 дней после появления самого движка, и он честно называет родителя в readme, а Ollama появилась в июне 2023 года и держит свою версию движка файлом-пином, к которому применяет патчи совместимости. Репутационный спор оказался ничьей: у главного разработчика KoboldCpp ровно 6 замерженных коммитов в llama-cpp, а у пяти мейнтейнеров Ollama — 7 коммитов от четырёх человек, хотя именно Ollama чаще обвиняют в потребительстве. Главное различие — в количестве решений, оставленных пользователю: у Ollama в описании API восемь опций (seed, temperature, top k, top p, min p, stop, num ctx и num predict), а у KoboldCpp в структуре запроса 56 полей и 165 флагов командной строки, включая грамматику, запрещённые токены и настраиваемый порядок сэмплеров. Громкий баг-репорт о падении скорости закрылся на следующее утро: мейнтейнер объяснил разницу выбранной опцией низкой VRAM и выключенным flash attention, а не дефектом движка. Отдельно разобраны дефолты по контексту: Ollama сама читает видеопамять и при карте меньше 24 ГБ выдаёт всего 4 000 токенов, хотя в её же документации для веб-поиска, агентов и кода указано 64 000, а контекст-шифтинг, который раньше был козырем KoboldCpp, теперь есть и в Ollama. Вывод: Ollama — тихая инфраструктура под другие инструменты, KoboldCpp — мастерская с 56 полями, а совместимость с API Ollama (KoboldCpp отвечает на тот же эндпоинт и подменяет номер версии, отставая на 27 минорных релизов) означает, что переключиться можно без переписывания клиента.
Практика
- Что получишь
- Поймёте, что оба движка стоят на одном фундаменте, и сможете выбрать между тихой инфраструктурой и мастерской с ручными настройками, а также проверить, не режет ли ваш текущий движок контекст по умолчанию.
- Первый шаг
- Посмотрите, какой контекст выдаёт ваша установка Ollama: если видеокарта меньше 24 ГБ, там по умолчанию 4 000 токенов, и это значение стоит поднять руками.
- Цифры
- —606 МБ против 1 501 МБ — размер одного файла KoboldCpp и установщика Ollama
- —8 опций против 56 полей — столько настроек документирует API Ollama и объявляет структура запроса у KoboldCpp
- —1 490 против 34 токенов в секунду — чтение промпта у модели на 70 млрд в баг-репорте, где KoboldCpp оказался в 44 раза медленнее при неверных настройках
- —4 000 токенов контекста — столько Ollama выдаёт по умолчанию на карте с памятью меньше 24 ГБ, хотя её же документация называет 64 000
- Честно
- Автор ничего не продаёт: это разбор исходников и метаданных GitHub, а не собственные замеры. Цифры по скорости взяты из чужого баг-репорта 1780, который закрыли на следующее утро после смены настроек, поэтому разница в 44 раза — история про неверные дефолты, а не про движок. Повторять здесь нечего: воспроизводимых шагов в ролике нет, а детали вроде полей API и флагов читаются с экрана.
Если слова незнакомы — 12 терминов
- llama.cppдвижок, на котором запускают модели локально; в пересказе он назван llama-cpp, и оба сравниваемых инструмента работают на нём
- форккопия чужого проекта, которую развивают отдельно
- коммитодна зафиксированная порция изменений в коде
- мейнтейнерчеловек, который отвечает за поддержку проекта
- APIпрограммный интерфейс, через который одна программа обращается к другой
- сэмплерправило, по которому движок выбирает следующее слово
- токенкусочек текста; в токенах считают и контекст, и скорость
- flash attentionбыстрый режим внимания, ускоряющий работу модели на видеокарте
- VRAMпамять видеокарты, от неё зависит доступный объём контекста
- контекстсколько текста модель держит в памяти во время разговора
- контекст-шифтингавтоматическое выкидывание старого текста из контекста без пересборки кэша
- эндпоинтадрес, по которому программа принимает запросы
Связки из этого ролика
6 шт.- KoboldCpp + llama.cpp — один файл, запускающий локальные модели и генерацию изображений на движке llama.cpp
- Ollama + llama.cpp — фоновый сервис-обёртка с зафиксированным тегом llama.cpp и патчами совместимости
- KoboldCpp + эндпоинты Ollama — KoboldCpp отвечает на запросы в форме Ollama, поэтому инструменты под Ollama работают без изменений
- KoboldCpp + ComfyUI/OpenAI API — та же сборка мимикрирует под несколько чужих API
- Whisper + KoboldCpp — встроенные речевые инструменты в одной сборке
- Ollama + Claude Code/VS Code — внешние приложения подключаются к Ollama как к локальному сервису
Компоненты
16 шт.Формат: обзор · для практикующих · уверенность разметки 0.82 · источник