Qwen 125B на RTX 5070: 94 токена/с с 12 ГБ

Что в ролике
Обычный игровой ПК с RTX 5070 (12 ГБ) и 64 ГБ обычной памяти запускает 125-миллиардную модель Qwen 3.8 FlashNext, и движок Strata заявляет 94 токена в секунду на самой агрессивной квантизации Q20. Архитектура — смесь экспертов: всего 125 млрд параметров, но на каждый токен активируется около 6 млрд, а из 512 маршрутизируемых экспертов на слой выбирается лишь 10. Strata держит постоянные веса и часто используемых экспертов в видеопамяти, весь набор экспертов — в системной памяти, а CPU просчитывает промахи из RAM одновременно с работой GPU. Дополнительные 51 млрд параметров занимает таблица N-грамм, которую движок оставляет на SSD и загружает оттуда лишь несколько строк на токен. Механизм спекулятивного декодирования с помощью маленького черновика предсказывает несколько токенов вперёд, а полная модель проверяет их разом, что даёт ускорение в 1,6–1,8 раза. Более качественные квантизации всё ещё быстры: IQ2XS — 79 токенов в секунду, IQ3S — 53 токена в секунду, а один из первых тестов на RTX 5090 показал 150–200 токенов в секунду. Быстрая цифра получена на агрессивном Q20, первая загрузка может сильно замедлить систему, а результаты пока в основном от авторов Strata и ранних энтузиастов.
Практика
- Что получишь
- Понять, за счёт каких архитектурных и инженерных приёмов большая MoE-модель даёт полезную скорость на 12 ГБ видеопамяти, и какие компромиссы по качеству и памяти стоят за этими цифрами.
- Первый шаг
- Проверить, что в системе есть 64 ГБ RAM и быстрый NVMe-накопитель, затем запустить Strata с моделью Qwen FlashNext в квантизации Q20.
- Цифры
- —94 токена в секунду — заявленная скорость самой быстрой квантизации Q20 на RTX 5070 12 ГБ
- —53 токена в секунду — скорость более качественной IQ3S на том же ПК
- —1,6–1,8 раза — ускорение от спекулятивного декодирования
- —150–200 токенов в секунду — результат раннего теста на RTX 5090 с 96 ГБ DDR5
- Честно
- Автор не продвигает конкретный продукт и не даёт партнёрских ссылок, но почти все цифры скорости взяты из отчётов самого проекта Strata и ранних тестов сообщества, поэтому независимых бенчмарков пока мало. Самая быстрая цифра 94 токена в секунду получена на агрессивной квантизации Q20, которая заметно снижает качество модели. Для комфортной работы нужны около 64 ГБ системной памяти, а первая загрузка может временно сделать компьютер очень медленным.
Если слова незнакомы — 5 терминов
- MoEсмесь экспертов — архитектура, где на каждый токен работают только выбранные подсети, а не вся модель целиком
- токенминимальная единица текста, которую модель генерирует или читает; скорость измеряют в токенах в секунду
- квантизациясжатие весов модели в менее точный формат ради экономии памяти и ускорения
- спекулятивное декодированиеприём, при котором маленький черновой помощник предсказывает несколько токенов вперёд, а основная модель проверяет их разом
- N-граммная таблицахранилище частых последовательностей символов, из которого модель берёт только нужные строки
Компоненты
2 шт.Формат: разбор · для продвинутых · уверенность разметки 0.9 · источник