К содержимому
Дайджест

16 ГБ для локального ИИ: когда хватает, а когда нет

Kai·7 октября 2026·18:35
текст даёт основное понять, как устроено
Открыть на YouTube
Разбор вирусного ролика про 16 ГБ видеопамяти для локального запуска Qwen3-27B: автор объясняет, почему демо были честными, но не полными, и как выбирать карту под реальные задачи.

Что в ролике

Автор рассказывает, как после вирусного ролика с Qwen3-27B на 16 ГБ купился на идею, но в реальной сессии кодинга через 20 минут скорость упала до 15 токенов в секунду, и он три недели разбирался почему. Главная причина — контекстное окно: сжатая модель весит 11,8 ГБ благодаря квантованию GSQRCO, но KV-кэш растёт с каждым токеном, и 128 000 токенов занимают уже 8 ГБ. После загрузки модели, vision-файла и резерва остаётся около 47 000 токенов, а отключение vision и сжатие кэша до 8 бит удваивает это до 110 000. Агентные инструменты вроде Claude Code съедают 30 000–32 000 токенов только на системный промпт, а типичные задачи могут использовать 87–96% окна на 128 000. Скорость скачет от 3 до 70 токенов в секунду из-за переполнения памяти в RAM, лимита пропускной способности (448 ГБ/с у 5060 Ti) и мультитокен-предсказания, которое требует место в кэше. Рынок сейчас искажён: RTX 5060 Ti 16 ГБ стоит 789 долларов вместо 429, а AMD RX 970 XT за те же 790 долларов даёт на 43% больше полосы пропускания, хотя проигрывает в скорости prefill. Локальный запуск Qwen3-27B экономит 2,69 доллара на миллион токенов против облака и окупает карту через 294 миллиона токенов или около 10 месяцев по 8 часов в день, поэтому для дешёвых моделей и редкой нагрузки аренда выгоднее.

Практика

Что получишь
Поймёте, сколько контекста реально остаётся на 16 ГБ, как настраивать модель и кэш, и когда локальная карта окупается против облака.
Первый шаг
Откройте настройки llama.cpp, отключите vision-файл, включите 8-битный кэш и замерьте реальный доступный контекст вашей карты.
Цифры
  • —45,6 токена в секунду — столько показывал Manolo Remedi на RTX 5060 Ti 16 ГБ в вирусном ролике
  • —64 КБ на токен — размер следа KV-кэша у Qwen3-27B, из-за чего 128 000 токенов занимают 8 ГБ
  • —110 000 токенов — максимальный контекст на 16 ГБ после отключения vision-файла и сжатия кэша до 8 бит
  • —789 против 429 долларов — нынешняя цена RTX 5060 Ti 16 ГБ против стартовой, что меняет окупаемость
Честно
Автор в конце продвигает подписку на свой канал, но спонсора или партнёрских ссылок не упоминает. Все цифры — из его расчётов и отчётов других пользователей, а не из ваших замеров; цены на видеокарты быстро устаревают. Для точного повторения нужно самому проверять настройки llama.cpp, так как в пересказе нет пошаговых команд.
Если слова незнакомы — 6 терминов

Связки из этого ролика

2 шт.

Компоненты

4 шт.

Формат: разбор · для практикующих · уверенность разметки 0.9 · источник