К содержимому
Дайджест

Бесплатные ИИ-модели: что реально запустить локально

The Stack·20 сентября 2026·22:27
можно прочитать понять, как устроено
Открыть на YouTube
Разбор того, какие открытые модели реально работают на обычном ПК, а какие требуют видеокарту, сервер или аренду облака.

Что в ролике

Для обычного ноутбука без видеокарты бесплатная модель Microsoft 54 Mini на 4 млрд параметров работает на скорости около 20 токенов в секунду, потому что скорость ограничена пропускной способностью памяти, а не процессором. Расчёт простой: делите полосу памяти около 100 ГБ/с на размер файла модели, и для 28-миллиардного Qwen в 16 ГБ после сжатия получается лишь 3 токена в секунду на обычном ПК. Для картинок нужен другой тип железа: Stable Diffusion через Biniu на процессоре ползёт, а бюджетная RTX 4060 с тысячами ядер рисует кадр за секунды, поэтому самая популярная карта в переписи Hugging Face — 12-гигабайтная RTX 3060, и её берут ради арифметики, а не ради больших моделей. Серьёзный локальный чат начинается с бывшей в употреблении RTX 3090 на 24 ГБ: она вмещает сжатый 28-миллиардный Qwen целиком и выдаёт текст быстрее, чем человек читает. Машины со 128 ГБ памяти, например Nvidia DGX Spark или AMD Ryzen AI Max Plus, продают ёмкость, но не публикуют скорость памяти, а Apple Mac Studio с M5 Ultra даёт и 512 ГБ, и 1,2 терабайта в секунду, что позволяет держать DeepSeek V4 Flash целиком. Для самой большой открытой модели Qwen на 2,4 триллиона параметров файл весит 4,89 терабайта, поэтому на облаке Lambda нужно 32 карты, час стоит 214 долларов, а год непрерывной работы — примерно 1,9 миллиона долларов. Практический вывод автора: до 8 миллиардов параметров хватает обычного ПК, для всего серьёзного — одна подержанная 24-гигабайтная карта, а выше 300 миллиардов параметров вы всё равно арендуете чужой дата-центр, но открытые веса не дают провайдеру зафиксировать цену.

Практика

Что получишь
Поймёте, какая скорость токенов реально доступна на вашем железе, и увидите, что единственная разумная покупка для серьёзного локального чата — подержанная видеокарта на 24 ГБ.
Первый шаг
Посчитайте по формуле из видео: разделите пропускную способность памяти вашего компьютера на размер файла модели в гигабайтах.
Цифры
  • —20 токенов в секунду — скорость Microsoft 54 Mini на ноутбуке без видеокарты
  • —3 токена в секунду — расчётная скорость 28-миллиардного Qwen на ПК без видеокарты
  • —24 ГБ — памяти достаточно у подержанной RTX 3090, чтобы вместить сжатый Qwen 28B
  • —Примерно 1,9 млн долларов в год — стоимость аренды кластера из 32 карт для Qwen 2,4T на Lambda
Честно
В ролике нет инструкций по установке и промо-ссылок: это разбор железа и цен на основе публичных спецификаций. Все расчёты автор делает на экране, поэтому цифры полосы памяти и стоимости аренды придётся проверять по его таблицам и страницам производителей. Для повторения выводов достаточно открыть Hugging Face и страницы спецификаций, но конкретных команд или готового стека в видео нет.
Если слова незнакомы — 3 терминов

Связки из этого ролика

5 шт.

Компоненты

16 шт.

Формат: разбор · для практикующих · уверенность разметки 0.9 · источник