Бесплатные ИИ-модели: что реально запустить локально

Что в ролике
Для обычного ноутбука без видеокарты бесплатная модель Microsoft 54 Mini на 4 млрд параметров работает на скорости около 20 токенов в секунду, потому что скорость ограничена пропускной способностью памяти, а не процессором. Расчёт простой: делите полосу памяти около 100 ГБ/с на размер файла модели, и для 28-миллиардного Qwen в 16 ГБ после сжатия получается лишь 3 токена в секунду на обычном ПК. Для картинок нужен другой тип железа: Stable Diffusion через Biniu на процессоре ползёт, а бюджетная RTX 4060 с тысячами ядер рисует кадр за секунды, поэтому самая популярная карта в переписи Hugging Face — 12-гигабайтная RTX 3060, и её берут ради арифметики, а не ради больших моделей. Серьёзный локальный чат начинается с бывшей в употреблении RTX 3090 на 24 ГБ: она вмещает сжатый 28-миллиардный Qwen целиком и выдаёт текст быстрее, чем человек читает. Машины со 128 ГБ памяти, например Nvidia DGX Spark или AMD Ryzen AI Max Plus, продают ёмкость, но не публикуют скорость памяти, а Apple Mac Studio с M5 Ultra даёт и 512 ГБ, и 1,2 терабайта в секунду, что позволяет держать DeepSeek V4 Flash целиком. Для самой большой открытой модели Qwen на 2,4 триллиона параметров файл весит 4,89 терабайта, поэтому на облаке Lambda нужно 32 карты, час стоит 214 долларов, а год непрерывной работы — примерно 1,9 миллиона долларов. Практический вывод автора: до 8 миллиардов параметров хватает обычного ПК, для всего серьёзного — одна подержанная 24-гигабайтная карта, а выше 300 миллиардов параметров вы всё равно арендуете чужой дата-центр, но открытые веса не дают провайдеру зафиксировать цену.
Практика
- Что получишь
- Поймёте, какая скорость токенов реально доступна на вашем железе, и увидите, что единственная разумная покупка для серьёзного локального чата — подержанная видеокарта на 24 ГБ.
- Первый шаг
- Посчитайте по формуле из видео: разделите пропускную способность памяти вашего компьютера на размер файла модели в гигабайтах.
- Цифры
- —20 токенов в секунду — скорость Microsoft 54 Mini на ноутбуке без видеокарты
- —3 токена в секунду — расчётная скорость 28-миллиардного Qwen на ПК без видеокарты
- —24 ГБ — памяти достаточно у подержанной RTX 3090, чтобы вместить сжатый Qwen 28B
- —Примерно 1,9 млн долларов в год — стоимость аренды кластера из 32 карт для Qwen 2,4T на Lambda
- Честно
- В ролике нет инструкций по установке и промо-ссылок: это разбор железа и цен на основе публичных спецификаций. Все расчёты автор делает на экране, поэтому цифры полосы памяти и стоимости аренды придётся проверять по его таблицам и страницам производителей. Для повторения выводов достаточно открыть Hugging Face и страницы спецификаций, но конкретных команд или готового стека в видео нет.
Если слова незнакомы — 3 терминов
- токенодно слово или часть слова, которую модель генерирует за шаг
- параметрычисловые настройки модели, определяющие её размер и качество
- пропускная способность памятисколько данных процессор может прочитать из памяти за секунду
Связки из этого ролика
5 шт.- local LLM
- speech transcription
- document embedding
- image generation
- open weights cloud hosting
Компоненты
16 шт.Формат: разбор · для практикующих · уверенность разметки 0.9 · источник