К содержимому
Дайджест

128 ГБ ОЗУ не спасут 24 ГБ карту для Qwen 3.6

The Stack·25 сентября 2026·13:34
можно прочитать выбрать инструмент
Открыть на YouTube
Сравнение железа для локального запуска Qwen 3.6 как агента: кому нужна 24 ГБ видеокарта, а кому Mac.

Что в ролике

Покупатель с Reddit запустил 35-миллиардную модель Qwen как агента на 32 ГБ MacBook Pro, и чтение промпта на 40 000 токенов заняло у него около 20 минут. В тестах llama.cpp на коротком промпте RTX 3090 и M5 Max читают около 3000 токенов в секунду, но на 8000 токенах карта почти не теряет скорость, а Mac падает до 2000; генерация у карты — 140 токенов в секунду, у Mac — 85. Чтение промпта упирается в вычислительную мощность чипа, а запись ответа — в пропускную способность памяти, поэтому длинные промпты агента сильнее нагружают видеокарту. Модель хранит 35 миллиардов параметров и в 4-битном виде занимает почти всю 24 ГБ карту, так что карта держит около 90 000–150 000 токенов диалога на полной скорости, а 64 ГБ Mac — весь контекст 262 000 токенов без замедления. На бенчмарке M5 Max выдаёт около 3200 токенов в секунду, M5 Pro — 1600, а старый M1 Max — всего 530, поэтому среди Mac с 64 ГБ только M5 Max близок к подержанной RTX 3090. Автор советует собирать ПК с подержанной 24 ГБ картой и 32 ГБ памяти или брать Mac Studio с M5 Max за $3799, если нужен полный контекст без сборки; комплект 128 ГБ DDR5 за $1949,99 для этой модели почти бесполезен.

Практика

Что получишь
Понимание, сколько памяти и какая видеокарта реально нужны для запуска Qwen 3.6 как агента, и почему 128 ГБ системной памяти можно не покупать.
Первый шаг
Проверьте в llama.cpp, влезает ли модель на вашу карту, и прикиньте длину промптов, которые будете скармливать агенту.
Цифры
  • —40 000 токенов — такой промпт на 32 ГБ MacBook Pro читался около 20 минут, а на RTX 3090 занял бы около 13,5 секунды
  • —3000 токенов в секунду — скорость чтения промпта у RTX 3090 на коротких промптах; на 8000 токенов почти не падает
  • —90 000–150 000 токенов — столько контекста держит 24 ГБ карта на полной скорости
  • —$1949,99 — столько стоил самый дешёвый новый комплект 128 ГБ DDR5 на Newegg 23 сентября, это дороже подержанной RTX 3090
Честно
Автор прямо просит подписаться на канал, но продукт или курс не продаёт. Все цифры взяты из одного теста каждой машины и промптов до 8000 токенов; прямых замеров на 40 000 токенах нет. Цены актуальны на 23 сентября и могут измениться.
Если слова незнакомы — 6 терминов

Компоненты

1 шт.

Формат: обзор · для практикующих · уверенность разметки 0.9 · источник