16 ГБ для локального ИИ: когда хватает, а когда нет

Что в ролике
Автор рассказывает, как после вирусного ролика с Qwen3-27B на 16 ГБ купился на идею, но в реальной сессии кодинга через 20 минут скорость упала до 15 токенов в секунду, и он три недели разбирался почему. Главная причина — контекстное окно: сжатая модель весит 11,8 ГБ благодаря квантованию GSQRCO, но KV-кэш растёт с каждым токеном, и 128 000 токенов занимают уже 8 ГБ. После загрузки модели, vision-файла и резерва остаётся около 47 000 токенов, а отключение vision и сжатие кэша до 8 бит удваивает это до 110 000. Агентные инструменты вроде Claude Code съедают 30 000–32 000 токенов только на системный промпт, а типичные задачи могут использовать 87–96% окна на 128 000. Скорость скачет от 3 до 70 токенов в секунду из-за переполнения памяти в RAM, лимита пропускной способности (448 ГБ/с у 5060 Ti) и мультитокен-предсказания, которое требует место в кэше. Рынок сейчас искажён: RTX 5060 Ti 16 ГБ стоит 789 долларов вместо 429, а AMD RX 970 XT за те же 790 долларов даёт на 43% больше полосы пропускания, хотя проигрывает в скорости prefill. Локальный запуск Qwen3-27B экономит 2,69 доллара на миллион токенов против облака и окупает карту через 294 миллиона токенов или около 10 месяцев по 8 часов в день, поэтому для дешёвых моделей и редкой нагрузки аренда выгоднее.
Практика
- Что получишь
- Поймёте, сколько контекста реально остаётся на 16 ГБ, как настраивать модель и кэш, и когда локальная карта окупается против облака.
- Первый шаг
- Откройте настройки llama.cpp, отключите vision-файл, включите 8-битный кэш и замерьте реальный доступный контекст вашей карты.
- Цифры
- —45,6 токена в секунду — столько показывал Manolo Remedi на RTX 5060 Ti 16 ГБ в вирусном ролике
- —64 КБ на токен — размер следа KV-кэша у Qwen3-27B, из-за чего 128 000 токенов занимают 8 ГБ
- —110 000 токенов — максимальный контекст на 16 ГБ после отключения vision-файла и сжатия кэша до 8 бит
- —789 против 429 долларов — нынешняя цена RTX 5060 Ti 16 ГБ против стартовой, что меняет окупаемость
- Честно
- Автор в конце продвигает подписку на свой канал, но спонсора или партнёрских ссылок не упоминает. Все цифры — из его расчётов и отчётов других пользователей, а не из ваших замеров; цены на видеокарты быстро устаревают. Для точного повторения нужно самому проверять настройки llama.cpp, так как в пересказе нет пошаговых команд.
Если слова незнакомы — 6 терминов
- KV-кэшпамять, в которой хранится текущий разговор и промежуточные вычисления для каждого токена
- квантованиесжатие модели за счёт снижения точности чисел, чтобы она занимала меньше памяти
- контекстное окномаксимальный объём текста, который модель может удерживать в памяти во время работы
- мультитокен-предсказаниеприём, при котором модель генерирует сразу несколько следующих токенов за один проход, ускоряя вывод ценой памяти
- prefillэтап, когда модель читает и обрабатывает весь входной промпт до генерации первого слова
- пропускная способностьскорость обмена данными между видеопамятью и процессором, задающая потолок скорости генерации
Связки из этого ролика
2 шт.- Qwen3-27B + llama.cpp + 16GB GPU
- Claude Code + local Qwen3-27B
Компоненты
4 шт.Формат: разбор · для практикующих · уверенность разметки 0.9 · источник