К содержимому
Дайджест

Что может ZGX Fury: локальные модели, агенты и RAG

Sam Witteveen·16 ноября 2026·20:11
текст даёт основное выбрать инструмент
Открыть на YouTube
Технический обзор возможностей сервера HP ZGX Fury для тех, кто оценивает локальный запуск больших моделей и агентов.

Что в ролике

Для команд, которым нужен полностью локальный ИИ, ZGX Fury показывает, какие модели влезают и с какой скоростью работают. Автор загружает одновременно GLM 5.3 Flash (320 млрд параметров, около 180 ГБ), несколько мелких моделей и эмбеддинг Gemma 2, оставляя место под KV-кэш. Он объясняет, что скорость декодирования упирается в пропускную способность памяти: у HBM это 7,1 ТБ/с, у памяти CPU — 396 ГБ/с, поэтому большие модели имеет смысл держать в HBM. GLM 5.3 Flash выдаёт около 283 токенов/с для одного пользователя со спекулятивным декодированием и около 80 токенов/с на пользователя при 16 одновременных сеансах, а DeepSeek 4 Flash обслуживает 54 пользователей с минимум 40 токенов/с. Для агентов автор считает порог в 80 токенов/с на пользователя, потому что цепочки рассуждений быстро умножают задержку. В офлайн-демо он отключает сеть и запускает команду кодинг-агентов через DeepSync, а для приватного RAG использует связку эмбеддингов Gemma 2, ре-ранкера Qwen и LLM уровня Qwen 3.8 Flash или GLM 5.3 Flash. Транскрибация аудио на этой машине идёт со скоростью 410x реального времени, а генерация 720p-видео через LTX 2.5 или Miniax H3 занимает десятки секунд; следующее видео будет про обучение и файнтюн.

Практика

Что получишь
Понимание, какие локальные модели реально помещаются на одной машине и какую скорость и число одновременных пользователей от них ждать. Также видно, какие сценарии — агенты, RAG, аудио, видео — можно закрыть без интернета.
Первый шаг
Посчитать по формуле из видео, сколько памяти займёт ваша целевая модель: параметры × битность / 8, и сравнить с 252 ГБ HBM у ZGX Fury.
Цифры
  • —252 ГБ — объём HBM-памяти на GPU, куда помещаются самые быстрые модели; ещё 496 ГБ медленной памяти у CPU
  • —7,1 ТБ/с — пропускная способность HBM против 396 ГБ/с у памяти CPU
  • —283 токена/с — скорость GLM 5.3 Flash для одного пользователя со спекулятивным декодированием
  • —54 пользователя — столько одновременных сеансов тянет DeepSeek 4 Flash с минимум 40 токенами/с на каждого
Честно
Видео спонсировано HP и Nvidia, поэтому цифры поданы позитивно и получены самим автором на его машине, а не независимым тестом. Конкретные команды, конфиги и часть названий моделей видны только на экране. Для повторения нужен сам ZGX Fury или аналогичное железо с 252 ГБ HBM и поддержкой NVFP4, а инструкции по настройке DeepSync даны в других роликах.
Если слова незнакомы — 5 терминов

Связки из этого ролика

3 шт.

Компоненты

13 шт.

Формат: обзор · для практикующих · уверенность разметки 0.8 · источник