850 токенов/с на RTX 5090: за счёт чего и как проверить

Что в ролике
Автор разбирает заявленные 850 токенов в секунду для 35-миллиардной модели Ornith 1.5 на одной RTX 5090. Ornith — это mixture-of-experts c 35B параметров, но активны только 3B на токен, и модель позиционируется для агентного кодинга. Скорость обеспечивает движок Ninfer, написанный на C++ и CUDA под одну GPU и использующий рукописные ядра, CUDA-графы и speculative decoding. Без speculative decoding тот же движок выдаёт около 340 токенов в секунду, а распространённая квантованная сборка той же архитектуры — около 180, поэтому остальной прирост даёт MTP-голова, предсказывающая несколько токенов за проход. У штатной MTP-головы Ornith принимается только 21–32% догадок, поэтому сборщик Shisa AI переобучил её и поднял приём с 22 до 39%, а скорость с 277 до 337 токенов в секунду. Цифры сильно зависят от предсказуемости текста: генерация историй идёт на 465, структурированный вывод на 780, а аудит разработчика показал, что рекордные 995 токенов в секунду были циклическим повтором. Длинный контекст работает благодаря гибридной архитектуре — три четверти слоёв используют linear attention, кэш квантован до 8 бит ключей и 4 бит значений, поэтому 185 000 токенов контекста декодируются на скорости около 510 токенов в секунду.
Практика
- Что получишь
- Понять, из каких компонентов складывается скорость локального инференса: движок, MTP-голова, длина контекста и предсказуемость текста. Научиться проверять чужие цифры токенов в секунду и оценивать, что реально даст ваша сборка.
- Первый шаг
- Если есть RTX 5090, взять сборку Ornith с обученной MTP-головой, например от Shisa AI, и прогнать свои промпты при включённом и выключенном speculative decoding.
- Цифры
- —850 токенов/с — заявленный максимум на коротком промпте с обученной MTP-головой и одной RTX 5090
- —340 токенов/с — скорость без speculative decoding на движке Ninfer для той же модели
- —510 токенов/с при 185 000 токенов контекста, промпт при этом обрабатывается за 7 400 токенов/с
- Честно
- Автор в конце просит подписаться на канал Code Unpacked; платных продуктов и партнёрских ссылок нет. Цифра 850 взята со страницы неофициальной uncensored-сборки, а не официальных весов Ornith, и сами сборщики не прогоняли качественные бенчмарки на квантованных файлах. Для повторения скорости нужны Linux, одна RTX 5090, один запрос за раз, обученная MTP-голова, короткий предсказуемый промпт и тот самый движок Ninfer.
Если слова незнакомы — 6 терминов
- mixture-of-expertsархитектура модели, где на каждый токен активна лишь часть параметров
- speculative decodingспособ ускорения, когда дополнительная голова угадывает несколько токенов, а основная модель проверяет их за один проход
- MTP-головаслой, предсказывающий следующие токены для спекулятивного декодирования
- linear attentionмеханизм внимания с фиксированным размером состояния, чтобы длинный контекст не замедлял модель
- квантованиесжатие весов или кэша модели до меньшей точности, например 8 и 4 бита, для экономии памяти
- CUDA-графыспособ объединить операции GPU в один граф, чтобы сократить накладные расходы при запуске ядер
Связки из этого ролика
2 шт.- C++/CUDA
- Ninfer + RTX 5090
Компоненты
5 шт.Формат: разбор · для практикующих · уверенность разметки 0.9 · источник