К содержимому
Дайджест

Как устроены инференс-движки: llama.cpp и vLLM

Caleb Writes Code·30 сентября 2026·10:19
текст даёт основное понять, как устроено промо
Открыть на YouTube
Разбор архитектуры инференс-движков для тех, кто хочет понять, чем llama.cpp, vLLM, SGLang и TensorRT-LLM отличаются на уровне железа и памяти.

Что в ролике

При выборе движка для запуска LLM легко запутаться: llama.cpp, vLLM, SGLang и TensorRT-LLM вышли в 2023–2024 годах и оптимизируют разные места одного и того же процесса. PyTorch изначально был общим инструментом для тензорных моделей и не был заточен под авторегрессионные LLM, поэтому llama.cpp специализировался на инференсе и снижении памяти, а благодаря квантованию и memory mapping смог запускать модель Llama 7B на смартфонах. vLLM пошёл в другую сторону: он принял железо как есть и нацелился на пропускную способность через PagedAttention, который хранит растущий KV-кэш в блоках фиксированного размера вместо непрерывных областей, и через continuous batching, позволяющий дожимать очередь запросов. SGLang добавил radix attention: если несколько пользователей начинают промпт с одинаковой фразы вроде «You are a helpful assistant», движок переиспользует общий префикс KV-кэша в древовидной структуре и не пересчитывает его заново, за счёт чего на некоторых задачах пропускная способность вырастала до 6,4 раза. NVIDIA, владея уровнем чипов, выпустила TensorRT-LLM, чтобы выжать максимум из собственного железа и снизить совокупную стоимость владения, а не просто продавать GPU. Сейчас движки сошлись к похожему набору функций, но давление меняется: агентные приложения требуют долгих сессий, а архитектуры DeepSeek, Kimi, Meta и MiniMax имеют свои особенности ядер, поэтому понимание узких мест важнее запоминания названий.

Практика

Что получишь
Понимание, чем отличаются основные инференс-движки и какую задачу каждый решает, чтобы осознанно выбирать инструмент под свои ограничения по памяти, железу и числу пользователей.
Первый шаг
Начать с llama.cpp на своём компьютере и запустить небольшую квантованную модель, чтобы увидеть memory mapping и квантование на практике.
Цифры
  • —60–80% памяти терялось в старых методах управления KV-кэшем из-за фрагментации и резервирования, по оценке статьи vLLM
  • —6,4 раза — на столько SGLang ускорял инференс на задачах с общими префиксами в промптах
  • —7B — модель Llama такого размера удалось запустить на смартфонах благодаря llama.cpp
Честно
Ролик спонсирован Zapier, и часть про интеграции — реклама с партнёрской ссылкой; в остальном это образовательный разбор без продажи курса. Повторить оптимизации по видео не получится: все примеры показаны на схемах и объяснениях, исходного кода или пошаговых команд нет.
Если слова незнакомы — 7 терминов

Компоненты

9 шт.

Формат: разбор · для практикующих · уверенность разметки 0.85 · источник