К содержимому
Дайджест

Qwen 125B на RTX 5070: 94 токена/с с 12 ГБ

Code Unpacked·6 октября 2026·10:10
можно прочитать понять, как устроено
Открыть на YouTube
Технический разбор того, как движок Strata запускает 125-миллиардную модель Qwen с полезной скоростью на обычном игровом ПК, для тех, кто интересуется локальным запуском крупных моделей.

Что в ролике

Обычный игровой ПК с RTX 5070 (12 ГБ) и 64 ГБ обычной памяти запускает 125-миллиардную модель Qwen 3.8 FlashNext, и движок Strata заявляет 94 токена в секунду на самой агрессивной квантизации Q20. Архитектура — смесь экспертов: всего 125 млрд параметров, но на каждый токен активируется около 6 млрд, а из 512 маршрутизируемых экспертов на слой выбирается лишь 10. Strata держит постоянные веса и часто используемых экспертов в видеопамяти, весь набор экспертов — в системной памяти, а CPU просчитывает промахи из RAM одновременно с работой GPU. Дополнительные 51 млрд параметров занимает таблица N-грамм, которую движок оставляет на SSD и загружает оттуда лишь несколько строк на токен. Механизм спекулятивного декодирования с помощью маленького черновика предсказывает несколько токенов вперёд, а полная модель проверяет их разом, что даёт ускорение в 1,6–1,8 раза. Более качественные квантизации всё ещё быстры: IQ2XS — 79 токенов в секунду, IQ3S — 53 токена в секунду, а один из первых тестов на RTX 5090 показал 150–200 токенов в секунду. Быстрая цифра получена на агрессивном Q20, первая загрузка может сильно замедлить систему, а результаты пока в основном от авторов Strata и ранних энтузиастов.

Практика

Что получишь
Понять, за счёт каких архитектурных и инженерных приёмов большая MoE-модель даёт полезную скорость на 12 ГБ видеопамяти, и какие компромиссы по качеству и памяти стоят за этими цифрами.
Первый шаг
Проверить, что в системе есть 64 ГБ RAM и быстрый NVMe-накопитель, затем запустить Strata с моделью Qwen FlashNext в квантизации Q20.
Цифры
  • —94 токена в секунду — заявленная скорость самой быстрой квантизации Q20 на RTX 5070 12 ГБ
  • —53 токена в секунду — скорость более качественной IQ3S на том же ПК
  • —1,6–1,8 раза — ускорение от спекулятивного декодирования
  • —150–200 токенов в секунду — результат раннего теста на RTX 5090 с 96 ГБ DDR5
Честно
Автор не продвигает конкретный продукт и не даёт партнёрских ссылок, но почти все цифры скорости взяты из отчётов самого проекта Strata и ранних тестов сообщества, поэтому независимых бенчмарков пока мало. Самая быстрая цифра 94 токена в секунду получена на агрессивной квантизации Q20, которая заметно снижает качество модели. Для комфортной работы нужны около 64 ГБ системной памяти, а первая загрузка может временно сделать компьютер очень медленным.
Если слова незнакомы — 5 терминов

Компоненты

2 шт.

Формат: разбор · для продвинутых · уверенность разметки 0.9 · источник