HP ZGX Fury: 3000 токенов/с локально для команды

Что в ролике
HP ZGX Fury G1 NAI Station — серверная AI-станция HP на чипе NVIDIA Blackwell GB300 с 72-ядерным процессором Grace, 20 петафлопсами FP4 и 748 ГБ общей памяти, из которых 252 ГБ — высокоскоростная HBM с пропускной способностью 7,1 ТБ/с. В отличие от унифицированной памяти DGX Spark или видеокарт уровня RTX 6000 с лимитом 96 ГБ, Fury вмещает большие открытые модели, а два порта 400 Гбит/с позволяют связать несколько машин. HP добавила фирменный инструмент ZRT: команды ZRT setup, ZRT serve и ZRT chat сами скачивают модель с Hugging Face, настраивают её для vLLM, поднимают endpoint для команды и позволяют мониторить нагрузку или запускать бенчмарки. Для корпоративного использования Fury стала первой станцией на GB300 с сертификацией Red Hat Enterprise Linux, а совместно с Infinity AI подготовлена оптимизированная квантизация модели Nemotron Super под этот чип, которая удваивает число одновременных пользователей и общую пропускную способность. В тестах автор получил суммарно более 3000 токенов/с при нескольких потоках, а RAG-тест с 16 одновременными пользователями дал свыше 1300 токенов/с, при этом вентиляторы даже не включились. При 64 одновременных пользователях модель Qwen продолжала выдавать около 90 токенов/с на генерации, и за несколько минут машина вывела более 500 000 токенов. Fury рассчитана на команду: можно одновременно гонять инференс большой модели, агентов, файнтюнинг и эксперименты без оплаты за токены, а тот же чип, что в стойках GB300 NVL72, жидкостное охлаждение и rack-mount исполнение делают её мини-дата-центром, который живёт on-prem.
Практика
- Что получишь
- Понимание, чем HP ZGX Fury отличается от других DGX Station, какие характеристики важны для командной работы и какую скорость она показывает при нагрузке от 16 до 64 одновременных пользователей.
- Первый шаг
- Повторить тесты можно, установив HP Z Runtime и запустив ZRT serve для выбранной модели с Hugging Face.
- Цифры
- —748 ГБ — общий объём памяти Fury, из которых 252 ГБ — высокоскоростная HBM
- —7,1 ТБ/с — пропускная способность HBM, против 1,8 ТБ/с у RTX Pro 6000
- —3000 токенов/с — суммарная скорость при нескольких потоках в тесте автора
- —1300 токенов/с — скорость RAG-теста с 16 одновременными пользователями, вентиляторы не включились
- Честно
- Видео спонсировано HP, автор получил станцию на время тестов и в описании даёт ссылки на покупку. Цена не указана, но автор прямо говорит, что для частных лиц она вне бюджета. Инструмент ZRT и оптимизированная квантизация Nemotron от Infinity AI, скорее всего, доступны только владельцам Fury; конкретные команды и интерфейс ZRT видны только на экране и в речи не продублированы.
Если слова незнакомы — 8 терминов
- HBMвысокоскоростная память рядом с чипом, быстрее обычной оперативки
- инференсвыполнение моделью запросов и генерация ответов
- vLLMинструмент для быстрого запуска и обслуживания больших языковых моделей
- RAGметод, при котором модель ищет ответ в ваших документах перед генерацией
- квантизациясжатие весов модели для ускорения и уменьшения расхода памяти
- on-premразмещение оборудования и данных на своей территории, а не в облаке
- rack-mountкрепление для установки в серверную стойку
- файнтюнингдообучение модели на своих данных
Связки из этого ролика
7 шт.- NVIDIA Blackwell GB300
- Grace CPU
- HBM
- Red Hat Enterprise Linux
- Ubuntu
- NVIDIA DGX Station
- GB300 NVL72
Компоненты
5 шт.Формат: обзор · для бизнеса · уверенность разметки 0.85 · источник