Локальные LLM: движки, обёртки и когда что брать

Что в ролике
Автор делит экосистему локального запуска LLM на вычислительные библиотеки (PyTorch, GGML, TensorRT), инференс-движки и обёртки, которые в основном сводятся к llama cpp или vLLM. Для одного пользователя на CPU или GPU он показывает тот же движок с моделью Qwen3 0,6 млрд параметров в формате GGUF, портом 9931 и веб-интерфейсом. vLLM ставится через uv, резервирует видеопамять заранее и на том же параллельном тесте 100 запросов даёт 1,6 секунды против 9,2 у предыдущего движка. Hugging Face Transformers пригоден для файнтюнинга и экспериментов, но в режиме serve параллелизм у него плохой. Обёртки Ollama, Open Web UI, LM Studio, LocalAI и Docker Model Runner упрощают запуск, но не добавляют скорости. Для нехватки VRAM он использует exllama v3 с TabbyAPI: модель Qwen3 14B в формате EXL3 с 3 битами на вес помещается на 8 ГБ VRAM при уменьшенном кэше 2048 токенов. SGLang стоит брать для повторяющегося контекста, LMDeploy — для 4-битных моделей, TensorRT-LLM на том же тесте показывает 3,6–3,8 секунды, а в конце перечислены дата-центровые Ray Serve, Triton, Dynamo и NIM без демо.
Практика
- Что получишь
- Картину экосистемы локального инференса и конкретные критерии выбора: llama.cpp или Ollama для одного пользователя, vLLM для параллельных запросов, exllama v3 с TabbyAPI для больших моделей на ограниченной видеопамяти, плюс готовые команды и порты для повторения.
- Первый шаг
- Определить свой сценарий (один пользователь, много одновременных запросов или большая модель на ограниченной VRAM) и начать с установки Ollama командой с сайта ollama.com, затем выполнить ollama pull qwen3:0.6b.
- Цифры
- —9,2 секунды — столько занял параллельный прогон 100 запросов в llama.cpp
- —1,6 секунды — тот же тест в vLLM
- —3,6–3,8 секунды — результат TensorRT-LLM на том же параллельном тесте
- —14 миллиардов параметров и 8 ГБ VRAM — модель Qwen3, которую exllama v3 уместил в такой объём с уменьшенным кэшем 2048 токенов
- Честно
- В середине ролика — спонсорская вставка Agent Vault от Infrac: автор прямо говорит, что это реклама, ссылка в описании, у сервиса есть бесплатный план, но продвижение оплачено. Демо MLX/MLXLM не показано, потому что у автора нет Apple-железа, а настройки exllama v3 пришлось подбирать на ходу (кэш 2048 токенов, reserve per device 0,1), поэтому на другом GPU они могут отличаться. В конце автор также предлагает свои платные услуги на сайте и просит подписаться.
Если слова незнакомы — 8 терминов
- LLMбольшая языковая модель, например Qwen3
- инференс-движокпрограмма, которая загружает модель и выполняет запросы к ней
- GGUFформат файла модели для llama cpp и Ollama
- VRAMвидеопамять графического процессора
- файнтюнингдообучение модели на своих данных
- EXL3формат квантованной модели для exllama v3
- бит на вессредняя точность весов после квантизации, например 3 бита
- кэшвременная память для ключей и значений, ограничивает длину контекста
Связки из этого ролика
4 шт.- Docker Compose
- CUDA
- OpenAI API
- Hugging Face Hub
Компоненты
24 шт.Формат: пошаговый урок · для практикующих · уверенность разметки 0.93 · источник