128 ГБ ОЗУ не спасут 24 ГБ карту для Qwen 3.6

Что в ролике
Покупатель с Reddit запустил 35-миллиардную модель Qwen как агента на 32 ГБ MacBook Pro, и чтение промпта на 40 000 токенов заняло у него около 20 минут. В тестах llama.cpp на коротком промпте RTX 3090 и M5 Max читают около 3000 токенов в секунду, но на 8000 токенах карта почти не теряет скорость, а Mac падает до 2000; генерация у карты — 140 токенов в секунду, у Mac — 85. Чтение промпта упирается в вычислительную мощность чипа, а запись ответа — в пропускную способность памяти, поэтому длинные промпты агента сильнее нагружают видеокарту. Модель хранит 35 миллиардов параметров и в 4-битном виде занимает почти всю 24 ГБ карту, так что карта держит около 90 000–150 000 токенов диалога на полной скорости, а 64 ГБ Mac — весь контекст 262 000 токенов без замедления. На бенчмарке M5 Max выдаёт около 3200 токенов в секунду, M5 Pro — 1600, а старый M1 Max — всего 530, поэтому среди Mac с 64 ГБ только M5 Max близок к подержанной RTX 3090. Автор советует собирать ПК с подержанной 24 ГБ картой и 32 ГБ памяти или брать Mac Studio с M5 Max за $3799, если нужен полный контекст без сборки; комплект 128 ГБ DDR5 за $1949,99 для этой модели почти бесполезен.
Практика
- Что получишь
- Понимание, сколько памяти и какая видеокарта реально нужны для запуска Qwen 3.6 как агента, и почему 128 ГБ системной памяти можно не покупать.
- Первый шаг
- Проверьте в llama.cpp, влезает ли модель на вашу карту, и прикиньте длину промптов, которые будете скармливать агенту.
- Цифры
- —40 000 токенов — такой промпт на 32 ГБ MacBook Pro читался около 20 минут, а на RTX 3090 занял бы около 13,5 секунды
- —3000 токенов в секунду — скорость чтения промпта у RTX 3090 на коротких промптах; на 8000 токенов почти не падает
- —90 000–150 000 токенов — столько контекста держит 24 ГБ карта на полной скорости
- —$1949,99 — столько стоил самый дешёвый новый комплект 128 ГБ DDR5 на Newegg 23 сентября, это дороже подержанной RTX 3090
- Честно
- Автор прямо просит подписаться на канал, но продукт или курс не продаёт. Все цифры взяты из одного теста каждой машины и промптов до 8000 токенов; прямых замеров на 40 000 токенах нет. Цены актуальны на 23 сентября и могут измениться.
Если слова незнакомы — 6 терминов
- токенчасть слова или слово, на которые модель делит текст
- промптвходной текст, который модель читает перед ответом
- параметрчисловой коэффициент внутри модели; 35 млрд параметров означают объём модели
- 4-битспособ сжатия весов модели для экономии памяти
- контекстмаксимальный размер диалога, который модель может удержать в памяти
- пропускная способность памятискорость, с которой чип читает данные из памяти
Компоненты
1 шт.Формат: обзор · для практикующих · уверенность разметки 0.9 · источник