Qwen на RTX 5090: 66,8 токена/с при 1 млн контекста

Что в ролике
Если нужно скормить модели целую кодовую базу или стопку документов, этот тест показывает, как далеко продвинулся запуск больших моделей на одной потребительской видеокарте. Тест провёл участник сообщества CPACSM75 на RTX 5090 с 32 ГБ, процессором Ryzen 9800X3D и 1083 ГБ DDR5, загрузив 5-битную модель Qwen Flash Next размером 158,3 ГБ через движок Strata в сборке Polystrada Poly7. Модель помещается за счёт 48 слоёв с 512 экспертами, из которых на токен используются только 10: эксперты лежат в системной памяти, а видеокарта кэширует нужные; при миллионе токенов на карте уже было 82,4% нужных экспертов. KV-кэш хранится в 8 битах, а резидентное окно 32 768 токенов оставляет контекст в RAM, отдавая видеопамять под экспертов; пик занятости составил 31,69 из 32 ГБ на карте и 121,5 ГБ в системе. На трёх промптах длиной около четверти, половины и миллиона токенов скорость записи упала с 77,8 до 66,8 токена в секунду, то есть всего на 14% при четырёхкратном росте контекста. Чтение промпта — узкое место: на миллионе токенов первый токен появился через 243,5 секунды, а по скорости чтения получается ближе к пяти с половиной минутам, и отчёт не объясняет расхождение. По сравнению с предыдущей версией Poly6 запись на миллионе токенов выросла на 6,7% до 66,8 токена в секунду, но качество ответов не проверялось, и результат получен в одном прогоне на одной машине с картой, ограниченной 450 ваттами.
Практика
- Что получишь
- Понять, как на одной RTX 5090 запустить модель с контекстом в миллион токенов и какие ограничения у этого результата.
- Первый шаг
- Найти отчёт CPACSM75 в community benchmarks Polystrada и повторить команду на своей машине с 32 ГБ Nvidia и большим объёмом RAM.
- Цифры
- —66,8 токена в секунду — скорость записи ответа на промпте в миллион токенов
- —82,4% — доля нужных экспертов, которые уже были на видеокарте при миллионе токенов
- —121,5 ГБ — пиковое использование системной памяти из 1083 ГБ DDR5
- —243,5 секунды — время до первого токена на миллионе токенов
- Честно
- Полную команду в ролике не показывают — она есть в отчёте CPACSM75. Результат получен одним прогоном на одной машине, никем независимо не повторён, а качество ответов и recall на длинном контексте не проверялись. Карта была ограничена 450 ваттами, поэтому скорость чтения нельзя сравнивать с полноценным режимом, и в конце автор просит подписаться на канал.
Если слова незнакомы — 4 терминов
- токенминимальная единица текста, которую модель читает или генерирует
- промптвходной текст-задание, на которое модель должна ответить
- KV-кэшпамять модели о контексте, где хранятся ключи и значения для всех обработанных токенов
- экспертыподмодели внутри слоя, из которых на каждый токен активна лишь часть
Связки из этого ролика
1 шт.- Strata + Polystrada
Компоненты
4 шт.Формат: разбор · для продвинутых · уверенность разметки 0.8 · источник