К содержимому
Дайджест

850 токенов/с на RTX 5090: за счёт чего и как проверить

Code Unpacked·3 октября 2026·9:52
можно прочитать понять, как устроено
Открыть на YouTube
Разбор рекордной скорости инференса 35B-модели Ornith 1.5 на одной RTX 5090 — для тех, кто запускает локальные LLM и не хочет верить цифрам без проверки.

Что в ролике

Автор разбирает заявленные 850 токенов в секунду для 35-миллиардной модели Ornith 1.5 на одной RTX 5090. Ornith — это mixture-of-experts c 35B параметров, но активны только 3B на токен, и модель позиционируется для агентного кодинга. Скорость обеспечивает движок Ninfer, написанный на C++ и CUDA под одну GPU и использующий рукописные ядра, CUDA-графы и speculative decoding. Без speculative decoding тот же движок выдаёт около 340 токенов в секунду, а распространённая квантованная сборка той же архитектуры — около 180, поэтому остальной прирост даёт MTP-голова, предсказывающая несколько токенов за проход. У штатной MTP-головы Ornith принимается только 21–32% догадок, поэтому сборщик Shisa AI переобучил её и поднял приём с 22 до 39%, а скорость с 277 до 337 токенов в секунду. Цифры сильно зависят от предсказуемости текста: генерация историй идёт на 465, структурированный вывод на 780, а аудит разработчика показал, что рекордные 995 токенов в секунду были циклическим повтором. Длинный контекст работает благодаря гибридной архитектуре — три четверти слоёв используют linear attention, кэш квантован до 8 бит ключей и 4 бит значений, поэтому 185 000 токенов контекста декодируются на скорости около 510 токенов в секунду.

Практика

Что получишь
Понять, из каких компонентов складывается скорость локального инференса: движок, MTP-голова, длина контекста и предсказуемость текста. Научиться проверять чужие цифры токенов в секунду и оценивать, что реально даст ваша сборка.
Первый шаг
Если есть RTX 5090, взять сборку Ornith с обученной MTP-головой, например от Shisa AI, и прогнать свои промпты при включённом и выключенном speculative decoding.
Цифры
  • —850 токенов/с — заявленный максимум на коротком промпте с обученной MTP-головой и одной RTX 5090
  • —340 токенов/с — скорость без speculative decoding на движке Ninfer для той же модели
  • —510 токенов/с при 185 000 токенов контекста, промпт при этом обрабатывается за 7 400 токенов/с
Честно
Автор в конце просит подписаться на канал Code Unpacked; платных продуктов и партнёрских ссылок нет. Цифра 850 взята со страницы неофициальной uncensored-сборки, а не официальных весов Ornith, и сами сборщики не прогоняли качественные бенчмарки на квантованных файлах. Для повторения скорости нужны Linux, одна RTX 5090, один запрос за раз, обученная MTP-голова, короткий предсказуемый промпт и тот самый движок Ninfer.
Если слова незнакомы — 6 терминов

Связки из этого ролика

2 шт.

Компоненты

5 шт.

Формат: разбор · для практикующих · уверенность разметки 0.9 · источник