180B Qwen на 12 ГБ GPU: Strata делит модель

Что в ролике
Запустить 180-миллиардную модель Qwen 3,8 Flash Next на видеокарте с 12 ГБ реально, но видеокарта не тянет всё в одиночку — за дело берётся вся машина. Инструмент Strata от сообщества разбивает модель на три уровня: видеопамять, системную RAM и SSD, при этом сжатый пакет Q20 всё равно весит 66,4 ГБ, а 28,8 ГБ таблицы поиска лежат прямо на диске. Сами 180 миллиардов параметров — это не одна монолитная сеть: 125 миллиардов в ядре, 51 миллиард в таблице поиска и 4 миллиарда в черновой голове, а на каждый токен активируется только около 6 миллиардов параметров ядра. На тестовом ПК с RTX 5070, Ryzen 5 7600 и 64 ГБ ОЗУ разработчик получил 90,3 токена в секунду при контексте 4 000 токенов и 67,2 токена при 128 000, причём скорость помогает многотокеновое предсказание. Сжатие даёт не только скорость: пакет Q20 на тесте LiveCodeBench набрал 81,1% против 87,4% у точной BF16-модели, а версия IQ3XXXS почти вернула качество с 86,3%. За это пришлось заплатить скоростью: IQ3XXXS выдаёт 45,8 токена в секунду при 128 000 контекста вместо 67,2 у Q20. Цифры — с одной машины разработчика под Windows 10 и отдельной оценки сжатия, поэтому на своих задачах придётся проверять обе версии и учитывать, что быстрый вывод не гарантирует рабочий код.
Практика
- Что получишь
- Понимание, при каком железе и с какими потерями скорости и качества реально запустить 180-миллиардную Qwen на 12 ГБ видеокарте, и как выбрать между пакетами Q20 и IQ3XXXS.
- Первый шаг
- Взять из документации Strata подходящий пакет, запустить на своей машине знакомую задачу с известными автотестами и замерить скорость и корректность.
- Цифры
- —66,4 ГБ — вес сжатого пакета Q20, который ставится на диск и RAM/VRAM
- —90,3 токена в секунду — скорость генерации Q20 на 4 000 токенов контекста
- —67,2 против 45,8 токена в секунду — скорость Q20 и IQ3XXXS на 128 000 токенов
- —87,4%, 81,1%, 86,3% — точность BF16, Q20 и IQ3XXXS на LiveCodeBench
- Честно
- Автор в середине ролика просит подписаться на канал, но продукта или курса не продаёт. Все цифры скорости и точности взяты из отчётов разработчиков, а не из независимого бенчмарка: скорость замерена на одном ПК с Windows 10, точность — в отдельном тесте сжатия. Команды и настройки в ролике не показаны, для повторения нужно идти в документацию Strata.
Если слова незнакомы — 4 терминов
- токенкороткий фрагмент текста, на которые модель делит слова
- параметрычисловые настройки модели, определяющие следующее слово
- контекствесь введённый текст и история диалога, которые модель читает перед ответом
- BF16формат хранения чисел модели с полной точностью
Связки из этого ролика
1 шт.- Qwen 3.8 Flash Next + Strata
Компоненты
3 шт.Формат: разбор · для практикующих · уверенность разметки 0.85 · источник