24 ГБ VRAM: RTX 3090 теряет звание лучшей покупки

Что в ролике
Автор начинает с того, что 24 ГБ считаются базой для серьёзного локального ИИ, но осенью 2026 года старые рекомендации перестали работать. Он разбирает, почему Q4-квантизация модели Qwen 3 27B с контекстом 128 000 токенов требует больше памяти, чем кажется: 17 ГБ весов плюс 14 ГБ 16-битного KV-кэша дают 31 ГБ, а Ollama молча режет окно до 32 000 токенов. Чтобы влезть в 24 ГБ, нужен 8-битный кэш Q80, который снижает кэш до 4,5 ГБ и почти не теряет качество, но если ключи Q80, а значения Q40, CUDA перекладывает attention на CPU и чтение замедляется в 30 раз. Дополнительно видеокарта с выводом на монитор теряет до 2 ГБ на рабочий стол и браузер, что может вылиться в переполнение в системную память и падение скорости генерации вдвое. Главный вывод автора — в конце 2026 года лучшая цена за 24 ГБ уже не RTX 3090, а AMD RX 7900 XTX: она пишет 38–39 токенов в секунду, как 3090, но стоит $900–1000 против $1400–1800 за 3090. Правда, AMD читает 118 000 токенов около 6 минут под Vulkan, а 3090 — 3 минуты, и у 3090 бесшовная поддержка CUDA и фреймворков, тогда как AMD требует ROCm или Vulkan и страдает от бага с аллокацией на 131 000 токенов. Для тех, кому важна скорость чтения, RTX 4090 обрабатывает 128 000 токенов за 70 секунд и декодирует 46 токенов в секунду, но стоит $2800–3000+, а RTX 5090 у перекупов доходит до $4400–7000, и автор советует её пропустить. В бюджетном сегменте Tesla P40 за $350 читает 128 000 токенов 25 минут, Intel Arc Pro B60 за $650 — 8 минут, а две модифицированные RTX 2080 Ti по $350–500 вместе выдают 38 токенов в секунду при tensor split.
Практика
- Что получишь
- Понятный список вариантов под бюджет и нагрузку: какие карты реально тянут длинный контекст, сколько стоит каждая и где подводные камни.
- Первый шаг
- Определите, какой контекст вы реально используете (32 000 или 128 000 токенов), и проверьте текущие цены на RX 7900 XTX и RTX 3090 в вашем регионе.
- Цифры
- —31 ГБ — столько занимают веса Q4 модели на 27 млрд и 16-битный KV-кэш на 128 000 токенов, поэтому 24 ГБ не хватает
- —30 раз — во столько падает скорость чтения промпта, если задать ключи Q80, а значения Q40, и CUDA уходит в CPU
- —70 секунд — время чтения 128 000 токенов у RTX 4090, главный аргумент за неё при длинных документах
- —25 минут — время чтения 128 000 токенов у Tesla P40 за $350
- Честно
- Автор в конце просит лайк, подписку и предлагает платное членство на канале за углублённые обзоры и ранние ответы; конкретных партнёрских ссылок нет. Все цены и скорости — его замеры на октябрь-ноябрь 2026 года, они быстро устаревают, а часть нюансов (температуры, лимиты аллокаций, тесты) показана только в его тестах.
Если слова незнакомы — 6 терминов
- Q4-квантизациясжатие весов модели до 4 бит для уменьшения занимаемой памяти
- KV-кэшкэш ключей и значений, который растёт с длиной контекста и занимает видеопамять
- CUDAпрограммная платформа Nvidia для вычислений на видеокартах
- ROCmпрограммная платформа AMD для вычислений на видеокартах
- Vulkanкроссплатформенный API, через который можно запускать вычисления на GPU
- tensor splitрежим распределения вычислений по слоям модели между несколькими видеокартами
Связки из этого ролика
4 шт.- llama.cpp + Q8_0 KV cache
- llama.cpp + tensor split
- ROCm + Linux
- Vulkan + Windows
Компоненты
8 шт.Формат: обзор · для практикующих · уверенность разметки 0.85 · источник