LM Studio: запуск локальных моделей и API для VS Code

Что в ролике
Если вы хотите пользоваться языковыми моделями без облака, LM Studio даёт простой интерфейс для загрузки, запуска и настройки локальных моделей на своём компьютере. Сначала нужно скачать обычную версию с lmstudio.ai/d, а не Bionic, и определить объём VRAM (на Windows с Nvidia) или unified memory (на Mac). В каталоге LM Studio сам подбирает подходящие модели; для экономии памяти выбирают квантизацию Q4, а модель на 1,25 ГБ полностью помещается в GPU и подходит для теста. При загрузке можно менять размер контекстного окна, включать KV cache и vcache в режиме Q4, чтобы уместить больше данных, и speculative decoding в MTP-режиме для ускорения. После загрузки модель доступна на локальном сервере по адресу localhost:1234/v1 с OpenAI-совместимым API, поэтому её можно вызывать из других программ. Автор показывает связку с VS Code: ставит расширение Cline, меняет провайдера на OpenAI compatible, вставляет base URL и название модели, и чат работает полностью локально. В самом LM Studio тоже есть чат с настройкой системного промпта, плагины RAG для вопросов по файлам, JS-песочница и MCP-серверы для вызова инструментов.
Практика
- Что получишь
- Умение бесплатно скачивать и запускать локальные языковые модели на своём компьютере, настраивать их под свою память и подключать к VS Code или другим приложениям через локальный API.
- Первый шаг
- Скачайте LM Studio с lmstudio.ai/d, откройте вкладку Hardware в настройках, чтобы узнать объём VRAM или unified memory, и загрузите рекомендованную модель из каталога.
- Цифры
- —24 ГБ — объём VRAM у автора, достаточный для запуска моделей до 17 ГБ
- —1,25 ГБ — размер маленькой тестовой модели, которую автор скачивает для демонстрации
- —17 ГБ — столько занимает крупная модель на 27 млрд параметров при загрузке
- —45 ГБ — столько VRAM потребовалось бы при контексте 262 000 токенов без сжатия кэша
- Честно
- Автор продвигает своё сообщество AI Agent Builders и мастер-класс в середине октября, доступный только участникам сообщества; ссылка в описании, а бесплатность сообщества не гарантирована. Для повторения на Windows нужна дискретная видеокарта Nvidia, а точные значения настроек, URL и последовательность кликов видны только на экране.
Если слова незнакомы — 10 терминов
- VRAMвидеопамять видеокарты, куда загружается модель для быстрой работы
- unified memoryобщая память в Mac, которую CPU и GPU используют вместе
- квантизацияснижение точности чисел модели для уменьшения размера и ускорения
- контекстное окномаксимальный объём текста, который модель учитывает за один раз
- KV cache / vcacheкэш вычислений внимания, который сжимают, чтобы уменьшить расход памяти
- speculative decodingприём, при котором модель предсказывает несколько следующих токенов параллельно для ускорения
- OpenAI-совместимый APIинтерфейс, который принимает те же запросы, что и API OpenAI, поэтому инструменты могут подключаться без переделки
- RAGспособ находить ответы в загруженных файлах, добавляя нужные куски в запрос к модели
- MCP-серверстандарт, позволяющий модели вызывать внешние инструменты и сервисы
- Clineрасширение для VS Code, которое использует модели как агента для написания кода
Компоненты
5 шт.Формат: пошаговый урок · для новичков · уверенность разметки 0.9 · источник