К содержимому
Дайджест

Локальный AI за 15 минут: модели, железо и три сборки

Tech With Tim·21 сентября 2026·16:59
можно прочитать понять, как устроено
Открыть на YouTube
Практический гайд по локальному запуску AI: что значит «локально», какие модели и железо выбрать и сколько это стоит.

Что в ролике

Локальный AI — это файл с весами модели на вашем компьютере, и все вычисления идут на вашем железе, без отправки данных на сервер, подписки и лимитов. Есть три схемы: полностью облачная (ChatGPT), локальный инструмент с облачной моделью (например, Cursor или Claude Code) и полностью локальная — проверить можно, отключив Wi-Fi. Для выбора модели автор советует искать на Hugging Face семейство Qwen, смотреть на размер в миллиардах параметров и уровень квантования: Q4 сжимает модель вчетверо почти без потери качества, а MoE ускоряет большие модели. Главное правило — модель должна влезать в быструю память (VRAM на видеокарте или unified memory на Mac), а скорость вывода определяется пропускной способностью памяти: у RTX 4090 24 ГБ VRAM и свыше 1 ТБ/с, у Mac памяти больше, но она медленнее. Дешёвая сборка на RTX 3060 с 12 ГБ VRAM (от 300 до 400 долларов) тянет 8B-модели на 40–50 токенов в секунду — годится для саммари и черновиков, но не для агентов; средняя на RTX 3090 с 24 ГБ или Mac Mini M4 Pro с 48 ГБ уже запускает 27B-модели для кодинга. Для 120B-моделей нужны 128 ГБ unified memory: варианты от AMD Strix Halo мини-ПК за 2500 долларов, DGX Spark за 5000 до дорогих Mac Studio, но на DGX Spark 120B выдаёт лишь около 40 токенов в секунду, а модели на 35–70B — уже 60–90 токенов в секунду. Запускают модели через Ollama, Docker Model Runner или LM Studio, но автор признаёт: для большинства дешевле и проще подписка на облачные модели за 20–60 долларов в месяц.

Практика

Что получишь
Понимание, как выбрать модель и железо под свой бюджет, и реалистичные ожидания по скорости и возможностям локального AI. Сможете понять, стоит ли вообще уходить с облачных подписок.
Первый шаг
Зайти на Hugging Face, найти самую свежую модель Qwen под объём вашей VRAM или unified memory и скачать её через Ollama или LM Studio.
Цифры
  • —40–50 токенов в секунду — скорость 8B-модели на RTX 3060 с 12 ГБ VRAM
  • —24 ГБ VRAM у RTX 3090 — позволяет комфортно запускать 27B-модели для агентов
  • —128 ГБ unified memory нужно для запуска моделей на 120B параметров
  • —40 токенов в секунду выдаёт DGX Spark на 120B-модели, а на 35–70B модели — уже 60–90 токенов в секунду
Честно
Видео спонсировано Granola: автор рекламирует свой партнёрский продукт и даёт ссылку со скидкой 100% на первый месяц. В ролике нет пошаговых инструкций по запуску, только обзор моделей, железа и цен, которые быстро меняются из-за дефицита RAM в 2026 году. Для повторения нужно будет искать отдельные гайды автора по инструментам Ollama, Docker Model Runner или LM Studio.
Если слова незнакомы — 7 терминов

Компоненты

9 шт.

Формат: разбор · для новичков · уверенность разметки 0.9 · источник