К содержимому
Дайджест

180B Qwen на 12 ГБ GPU: Strata делит модель

The Stack·30 сентября 2026·9:06
можно прочитать понять, как устроено
Открыть на YouTube
Разбор того, как community-проект Strata запускает 180-миллиардную модель Qwen 3,8 Flash Next на десктопе с 12 ГБ видеопамяти, для тех, кто решает, потянет ли их ПК.

Что в ролике

Запустить 180-миллиардную модель Qwen 3,8 Flash Next на видеокарте с 12 ГБ реально, но видеокарта не тянет всё в одиночку — за дело берётся вся машина. Инструмент Strata от сообщества разбивает модель на три уровня: видеопамять, системную RAM и SSD, при этом сжатый пакет Q20 всё равно весит 66,4 ГБ, а 28,8 ГБ таблицы поиска лежат прямо на диске. Сами 180 миллиардов параметров — это не одна монолитная сеть: 125 миллиардов в ядре, 51 миллиард в таблице поиска и 4 миллиарда в черновой голове, а на каждый токен активируется только около 6 миллиардов параметров ядра. На тестовом ПК с RTX 5070, Ryzen 5 7600 и 64 ГБ ОЗУ разработчик получил 90,3 токена в секунду при контексте 4 000 токенов и 67,2 токена при 128 000, причём скорость помогает многотокеновое предсказание. Сжатие даёт не только скорость: пакет Q20 на тесте LiveCodeBench набрал 81,1% против 87,4% у точной BF16-модели, а версия IQ3XXXS почти вернула качество с 86,3%. За это пришлось заплатить скоростью: IQ3XXXS выдаёт 45,8 токена в секунду при 128 000 контекста вместо 67,2 у Q20. Цифры — с одной машины разработчика под Windows 10 и отдельной оценки сжатия, поэтому на своих задачах придётся проверять обе версии и учитывать, что быстрый вывод не гарантирует рабочий код.

Практика

Что получишь
Понимание, при каком железе и с какими потерями скорости и качества реально запустить 180-миллиардную Qwen на 12 ГБ видеокарте, и как выбрать между пакетами Q20 и IQ3XXXS.
Первый шаг
Взять из документации Strata подходящий пакет, запустить на своей машине знакомую задачу с известными автотестами и замерить скорость и корректность.
Цифры
  • —66,4 ГБ — вес сжатого пакета Q20, который ставится на диск и RAM/VRAM
  • —90,3 токена в секунду — скорость генерации Q20 на 4 000 токенов контекста
  • —67,2 против 45,8 токена в секунду — скорость Q20 и IQ3XXXS на 128 000 токенов
  • —87,4%, 81,1%, 86,3% — точность BF16, Q20 и IQ3XXXS на LiveCodeBench
Честно
Автор в середине ролика просит подписаться на канал, но продукта или курса не продаёт. Все цифры скорости и точности взяты из отчётов разработчиков, а не из независимого бенчмарка: скорость замерена на одном ПК с Windows 10, точность — в отдельном тесте сжатия. Команды и настройки в ролике не показаны, для повторения нужно идти в документацию Strata.
Если слова незнакомы — 4 терминов

Связки из этого ролика

1 шт.

Компоненты

3 шт.

Формат: разбор · для практикующих · уверенность разметки 0.85 · источник