К содержимому
Дайджест

Неделя с локальными AI: 64 ГБ, IDE, агенты и выводы

Adrian Twarog·2 октября 2026·13:24
нужен экран можно повторить пошагово
Открыть на YouTube
Дневник недельного эксперимента по замене облачных AI-моделей локальными на потребительском мини-ПК, с замерами скорости и проверкой в IDE, CLI и агентах.

Что в ролике

Автор неделю тестирует локальные AI-модели на потребительском мини-ПК ASUS NUC 16 Pro с 64 ГБ оперативной памяти, чтобы понять, могут ли они заменить облачные. Он запускает модели через LM Studio и Ollama, выбирая Qwen 3.8 на 27 млрд параметров, Muse Glimmer от Meta и GLM 4.7 Flash, которые помещаются в 64 ГБ с GPU offloading и квантованием Q8/Q6/Q4. В чате скорость ответа составила 12 токенов в секунду у Qwen, 6 у Muse Glimmer и 22 у GLM, причём последняя целиком влезала на GPU. В VS Code локальные модели подключаются через нативный пункт Manage Language Models с endpoint от LM Studio, но для стабильной работы пришлось отключить tool calls и увеличить контекст, так как среда отправляла слишком много служебных вызовов. Главным ограничением стал контекст в 8000 токенов: в чате модели работают, а в CLI типа Claude Code уходят в 3-минутный ответ на hello world из-за большого промпта. Для агентов автор настроил OpenClaw и Hermes, используя облачную Gemini K3 как оркестратора, а локальные модели — как субагентов для фоновых задач и улучшения памяти, что оказалось рабочим сценарием. Вывод: локальные модели подходят для агентов, работающих круглосуточно, но для больших кодовых баз пока не дотягивают, а будущее он видит в росте оперативной памяти и лучшей квантизации.

Практика

Что получишь
Поймёшь, на что способны локальные модели на обычном мини-ПК: какие скорости ждать, где они упираются в контекст и как их подключать к VS Code, CLI и агентам.
Первый шаг
Скачать LM Studio, выбрать модель уровня Qwen 3.8 или GLM 4.7 Flash с GPU offloading и проверить скорость ответа в чате.
Цифры
  • —12, 6 и 22 токена в секунду — скорость ответа Qwen 3.8, Muse Glimmer и GLM 4.7 Flash соответственно
  • —100 токенов в секунду — скорость, до которой удалось разогнать лёгкую модель LMF 2.5
  • —8000 токенов — стандартный лимит контекста, из-за которого модели упирались в VS Code и CLI
  • —3 минуты — столько Claude Code отвечал на hello world с локальной моделью
Честно
Видео спонсировано ASUS: мини-ПК предоставлен компанией, ссылка на него в описании. Для агентов автор смешивает локальные модели с облачной Gemini K3, а арт генерирует через ChatGPT-6 Astra, так что полностью локального пайплайна в эксперименте нет. Значения настроек LM Studio, endpoint для VS Code и отключение tool calls видны только на экране — в пересказе их точные параметры не воспроизведены.
Если слова незнакомы — 6 терминов

Понадобится экран

Часть информации есть только на экране (настройки). Открыть на YouTube с 6:04.

Связки из этого ролика

4 шт.

Компоненты

9 шт.

Цитаты-доказательства

дословно из субтитров

Формат: разбор кейса · для практикующих · уверенность разметки 0.87 · источник