Неделя с локальными AI: 64 ГБ, IDE, агенты и выводы

Что в ролике
Автор неделю тестирует локальные AI-модели на потребительском мини-ПК ASUS NUC 16 Pro с 64 ГБ оперативной памяти, чтобы понять, могут ли они заменить облачные. Он запускает модели через LM Studio и Ollama, выбирая Qwen 3.8 на 27 млрд параметров, Muse Glimmer от Meta и GLM 4.7 Flash, которые помещаются в 64 ГБ с GPU offloading и квантованием Q8/Q6/Q4. В чате скорость ответа составила 12 токенов в секунду у Qwen, 6 у Muse Glimmer и 22 у GLM, причём последняя целиком влезала на GPU. В VS Code локальные модели подключаются через нативный пункт Manage Language Models с endpoint от LM Studio, но для стабильной работы пришлось отключить tool calls и увеличить контекст, так как среда отправляла слишком много служебных вызовов. Главным ограничением стал контекст в 8000 токенов: в чате модели работают, а в CLI типа Claude Code уходят в 3-минутный ответ на hello world из-за большого промпта. Для агентов автор настроил OpenClaw и Hermes, используя облачную Gemini K3 как оркестратора, а локальные модели — как субагентов для фоновых задач и улучшения памяти, что оказалось рабочим сценарием. Вывод: локальные модели подходят для агентов, работающих круглосуточно, но для больших кодовых баз пока не дотягивают, а будущее он видит в росте оперативной памяти и лучшей квантизации.
Практика
- Что получишь
- Поймёшь, на что способны локальные модели на обычном мини-ПК: какие скорости ждать, где они упираются в контекст и как их подключать к VS Code, CLI и агентам.
- Первый шаг
- Скачать LM Studio, выбрать модель уровня Qwen 3.8 или GLM 4.7 Flash с GPU offloading и проверить скорость ответа в чате.
- Цифры
- —12, 6 и 22 токена в секунду — скорость ответа Qwen 3.8, Muse Glimmer и GLM 4.7 Flash соответственно
- —100 токенов в секунду — скорость, до которой удалось разогнать лёгкую модель LMF 2.5
- —8000 токенов — стандартный лимит контекста, из-за которого модели упирались в VS Code и CLI
- —3 минуты — столько Claude Code отвечал на hello world с локальной моделью
- Честно
- Видео спонсировано ASUS: мини-ПК предоставлен компанией, ссылка на него в описании. Для агентов автор смешивает локальные модели с облачной Gemini K3, а арт генерирует через ChatGPT-6 Astra, так что полностью локального пайплайна в эксперименте нет. Значения настроек LM Studio, endpoint для VS Code и отключение tool calls видны только на экране — в пересказе их точные параметры не воспроизведены.
Если слова незнакомы — 6 терминов
- GPU offloadingперенос вычислений модели на видеокарту для ускорения
- квантованиесжатие модели с потерей точности, чтобы она помещалась в память
- контекстобъём текста, который модель учитывает при ответе за один раз
- endpointадрес, по которому программа обращается к локальному серверу модели
- tool callsслужебные вызовы инструментов, которые IDE отправляет модели
- субагентвспомогательный агент, которому главный агент делегирует часть задачи
Понадобится экран
Часть информации есть только на экране (настройки). Открыть на YouTube с 6:04.
Связки из этого ролика
4 шт.- Ollama + LM Studio
- LM Studio + VS Code
- Claude Code + local models
- OpenClaw + Hermes
Компоненты
9 шт.Цитаты-доказательства
дословно из субтитров- Just head to the top command bar and select manage language models. Up here, you can add models that are based in the cloud or even local models. I'm going to select to use a custom endpoint, and then here I'm going to plug in the LM Studio endpoint. From there, I'll just add in the URL LM Studio is hosting on, as well as the model name.6:04
- Uncheck all of the tool calls, and then extend out the context for the model itself.7:07
- And in order to get it to use local models, we need to pass in a specific model and set the setting for it to use the LM Studio URL.8:27
Формат: разбор кейса · для практикующих · уверенность разметки 0.87 · источник