Локальный AI за 15 минут: модели, железо и три сборки

Что в ролике
Локальный AI — это файл с весами модели на вашем компьютере, и все вычисления идут на вашем железе, без отправки данных на сервер, подписки и лимитов. Есть три схемы: полностью облачная (ChatGPT), локальный инструмент с облачной моделью (например, Cursor или Claude Code) и полностью локальная — проверить можно, отключив Wi-Fi. Для выбора модели автор советует искать на Hugging Face семейство Qwen, смотреть на размер в миллиардах параметров и уровень квантования: Q4 сжимает модель вчетверо почти без потери качества, а MoE ускоряет большие модели. Главное правило — модель должна влезать в быструю память (VRAM на видеокарте или unified memory на Mac), а скорость вывода определяется пропускной способностью памяти: у RTX 4090 24 ГБ VRAM и свыше 1 ТБ/с, у Mac памяти больше, но она медленнее. Дешёвая сборка на RTX 3060 с 12 ГБ VRAM (от 300 до 400 долларов) тянет 8B-модели на 40–50 токенов в секунду — годится для саммари и черновиков, но не для агентов; средняя на RTX 3090 с 24 ГБ или Mac Mini M4 Pro с 48 ГБ уже запускает 27B-модели для кодинга. Для 120B-моделей нужны 128 ГБ unified memory: варианты от AMD Strix Halo мини-ПК за 2500 долларов, DGX Spark за 5000 до дорогих Mac Studio, но на DGX Spark 120B выдаёт лишь около 40 токенов в секунду, а модели на 35–70B — уже 60–90 токенов в секунду. Запускают модели через Ollama, Docker Model Runner или LM Studio, но автор признаёт: для большинства дешевле и проще подписка на облачные модели за 20–60 долларов в месяц.
Практика
- Что получишь
- Понимание, как выбрать модель и железо под свой бюджет, и реалистичные ожидания по скорости и возможностям локального AI. Сможете понять, стоит ли вообще уходить с облачных подписок.
- Первый шаг
- Зайти на Hugging Face, найти самую свежую модель Qwen под объём вашей VRAM или unified memory и скачать её через Ollama или LM Studio.
- Цифры
- —40–50 токенов в секунду — скорость 8B-модели на RTX 3060 с 12 ГБ VRAM
- —24 ГБ VRAM у RTX 3090 — позволяет комфортно запускать 27B-модели для агентов
- —128 ГБ unified memory нужно для запуска моделей на 120B параметров
- —40 токенов в секунду выдаёт DGX Spark на 120B-модели, а на 35–70B модели — уже 60–90 токенов в секунду
- Честно
- Видео спонсировано Granola: автор рекламирует свой партнёрский продукт и даёт ссылку со скидкой 100% на первый месяц. В ролике нет пошаговых инструкций по запуску, только обзор моделей, железа и цен, которые быстро меняются из-за дефицита RAM в 2026 году. Для повторения нужно будет искать отдельные гайды автора по инструментам Ollama, Docker Model Runner или LM Studio.
Если слова незнакомы — 7 терминов
- веса моделичисла внутри файла, которые определяют знания и поведение модели
- параметрыколичество чисел-весов в модели; больше параметров обычно умнее, но медленнее
- VRAMпамять видеокарты, быстрая память для моделей
- unified memoryобщая память Mac, которую используют и процессор, и графика
- квантованиесжатие модели за счёт снижения точности чисел, например Q4 — 4 бита на параметр
- MoEсмесь экспертов: модель из множества маленьких подсетей, работают только часть на каждый запрос, ускоряет работу
- токены в секундускорость генерации текста: сколько условных кусочков текста модель выдаёт за секунду
Компоненты
9 шт.Формат: разбор · для новичков · уверенность разметки 0.9 · источник