84 ГБ видеопамяти: кому нужна RTX Pro 5500

Что в ролике
Если вы запускаете открытые модели локально, новая NVIDIA RTX Pro 5500 с 84 ГБ памяти решает конкретную задачу — удержать модель уровня 100 млрд параметров целиком в видеопамяти одной карты, без разбиения на несколько. У неё столько же ядер, сколько у GeForce RTX 5090, но памяти в 2,6 раза больше, и этого хватает, чтобы 60-гигабайтный файл OpenAI GPT-OSS 117B с кэшем разговора (~65 ГБ) поместился на одной карте. Но скорость упирается в пропускную способность памяти, а не в число ядер: 5500 читает память на ~1400 ГБ/с, примерно на пятую часть медленнее, чем 5090 и RTX Pro 6000, поэтому для моделей, уже помещающихся в 32 ГБ, 5090 остаётся быстрее. Когда модель не влезает, разница огромная: 5090 со сбросом части весов в обычную память пишет GPT-OSS со скоростью ~30 токенов/с, Pro 6000 с полным размещением — ~196 токенов/с, а 5500, по оценке автора, должна оказаться между 157 токенов/с у Pro 5000 и 196 у Pro 6000. Архитектура модели тоже меняет расклад: GPT-OSS — mixture of experts и активирует лишь ~5 млрд из 117 млрд параметров на токен, тогда как плотная Llama 3.3 70B на Pro 6000 даёт всего ~34 токенов/с, вшестеро медленнее. Несколько карт не всегда спасают: в llama cpp по умолчанию обрабатываются слои последовательно, поэтому две RTX 5090 дают лишь ~64 ГБ суммарной памяти и на плотной модели разгоняются с 35 до 56 токенов/с только в экспериментальном режиме, а для 84 ГБ придётся собрать три карты с энергопотреблением ~1725 Вт против 600 Вт у одной 5500. Сейчас цены нет: Nvidia продаёт Pro 5000 72 ГБ примерно за $8 400, а Pro 6000 96 ГБ за $16 000, поэтому 5500 с 84 ГБ закроет нишу, если встанет между ними, но реальных тестов карты ещё нет, а характеристики на странице помечены как предварительные.
Практика
- Что получишь
- Вы научитесь определять, когда 84 ГБ видеопамяти действительно дают прирост, а когда быстрее и дешевле обойтись 32-гигабайтной 5090, и поймёте, почему одна карта может быть лучше нескольких.
- Первый шаг
- Посмотрите, помещается ли ваша модель в 32 ГБ видеопамяти: если да, начните с RTX 5090, а если нужна модель уровня 100 млрд параметров — дождитесь цены и независимых тестов RTX Pro 5500 или сравните её с Pro 5000/6000.
- Цифры
- —84 ГБ — объём видеопамяти RTX Pro 5500, в который целиком помещается модель GPT-OSS 117B с кэшем разговора около 65 ГБ
- —1400 ГБ/с — пропускная способность памяти карты, примерно на 20% ниже, чем у RTX 5090 и RTX Pro 6000
- —30, 157 и 196 токенов/с — скорость генерации GPT-OSS на RTX 5090 с выгрузкой части весов, RTX Pro 5000 и RTX Pro 6000 соответственно
- —600 Вт против 1725 Вт — энергопотребление одной RTX Pro 5500 против трёх RTX 5090, которые в сумме дают не менее 84 ГБ
- Честно
- Автор в середине ролика просит подписаться на канал, другой рекламы или партнёрских ссылок нет. Цена и дата выхода RTX Pro 5500 не объявлены, характеристики на странице помечены как предварительные, а скорость 5500 в ролике — оценка между результатами Pro 5000 и Pro 6000, а не результат независимого теста.
Если слова незнакомы — 4 терминов
- токенслово или часть слова, на которые модель делит текст при генерации
- параметрыобученные числа, определяющие поведение модели и её размер файла
- mixture of expertsархитектура, где модель состоит из нескольких специализированных блоков и для каждого токена включается лишь часть параметров
- плотная модельмодель, у которой при генерации каждого токена задействуются все обученные параметры
Компоненты
1 шт.Формат: разбор · для продвинутых · уверенность разметки 0.88 · источник