Локальный ИИ: дорого, сложно и пока не замена ChatGPT

Что в ролике
Локальный ИИ сейчас не конкурент подписке на ChatGPT или Claude: дорого, сложно и слабее frontier-моделей, и даже технически подкованный автор признаётся, что для реальной работы идёт в облако. Локальный ИИ — это запуск модели на своём компьютере без интернета, а open-source модели с открытыми весами можно запускать и в дата-центрах; лучшие из них отстают от frontier на поколение и требуют стоек GPU. Плюсы локального ИИ — суверенитет данных, независимость от правил лабораторий, работа без интернета и владение интеллектом, но для частного лица эти выгоды перекрываются сложностью настройки. На железе: RTX 4090 за почти $5,000 даёт 25–40 токенов/с на компактной модели Qwen, а RTX Pro 6000 Blackwell за $16,000 — 95–245 токенов/с на специализированной модели, но параллельно запускать несколько агентов всё равно нельзя. Экономика по расчёту автора: локальная Qwen при амортизации $4,000 компьютера за 3 года обходится в $144/мес и даёт 50 токенов/с, тогда как Claude Haiku 5,5 стоит $27/мес и выдаёт 235 токенов/с при более высоком индексе интеллекта. Поэтому сегодня локальный ИИ — удел гиков-энтузиастов с техническими навыками, деньгами и временем, которым нравится сам процесс настройки, как оверклокинг, а не результат работы. Будущее автор видит в гибридном подходе операционных систем от Apple, Microsoft и Google, где локальная модель незаметно берёт на себя простые и приватные задачи, а облако — сложные, и тогда локальный ИИ станет массовым.
Практика
- Что получишь
- Поймёте, почему локальный ИИ сейчас не окупается для обычного пользователя, и увидите конкретные цены на GPU и скорости токенов, чтобы не потратить $5,000+ впустую.
- Первый шаг
- Прежде чем покупать железо, посчитайте стоимость за три года: разделите цену компьютера на 36 месяцев и сравните с $20–100/мес за ChatGPT или Claude.
- Цифры
- —$5,000 — столько стоит RTX 4090, она выдаёт 25–40 токенов/с на компактной модели Qwen
- —$16,000 — цена RTX Pro 6000 Blackwell, на нём скорость 95–245 токенов/с на специализированной модели
- —$144/мес — во столько обходится локальная Qwen при амортизации $4,000 компьютера за 3 года, против $27/мес за Claude Haiku 5,5
- Честно
- В видео есть рекламная вставка JetBrains Air со ссылкой, автор также признаётся, что инвестировал в LM Studio и рекомендует его для экспериментов. Цифры по ценам и скоростям он показывает на экране в таблицах и графике, в тексте они приведены по его словам. Модель Qwen упоминается без точной версии из-за нечёткой расшифровки.
Если слова незнакомы — 4 терминов
- frontier-моделисамые передовые и сильные модели, обычно закрытые
- токен/сскорость генерации текста: сколько фрагментов слов модель выдаёт за секунду
- open weightsоткрытые веса модели, которые можно скачать и запустить самому, в отличие от закрытых API
- GPUграфический процессор, который используют для вычислений в ИИ
Компоненты
7 шт.Формат: мнение · для практикующих · уверенность разметки 0.85 · источник