NVFP4 на Blackwell: реальный прирост, а не 2X

Что в ролике
Если вы запускаете локальные модели на видеокарте и ждёте двукратного ускорения от нового 4-битного формата NVIDIA, реальные цифры скромнее. NVFP4 упаковывает веса модели в 4-битные числа с общим множителем на небольшие группы, а ускоряется только на архитектуре Blackwell, где тензорные ядра умеют считать с этими значениями напрямую. При этом софт для запуска должен поддерживать нативный путь, иначе старый GPU распакует формат в другой и потеряет прирост. Разгон сильнее всего заметен при чтении длинного промпта: в тесте разработчика на 27B-модели Qwen обработка запроса стала быстрее на 46%, а генерация ответа почти не изменилась — всего 1%. В опубликованном тесте Libertai на RTX 5090 та же модель в NVFP4 дала 12% выше скорость генерации по сравнению с Q4KM, а общая пропускная способность выросла на 9% при фиксированных 512 входных и 128 выходных токенах. Гибридная конверсия заняла 14,7 ГБ видеопамяти против 16,3 ГБ у Q4KM, но это не гарантирует, что длинный разговор поместится в память, потому что кэш и рабочая область рантайма не учтены полностью. Качество не всегда совпадает: предварительный тест на маленькой модели показал, что Q4K держался ближе к эталону, чем NVFP4, а для 27B-модели сопоставимой оценки точности нет. Поэтому правило простое: сравните обе конверсии одной модели на своей задаче и оставьте ту, что даёт достоверный ответ быстрее и влезает в память.
Практика
- Что получишь
- Поймёте, какие условия должны совпасть для ускорения, и получите схему честного сравнения NVFP4 с обычным Q4KM на своей карте.
- Первый шаг
- Возьмите поддерживаемую сборку llama.cpp для Blackwell, сконвертируйте свою модель в NVFP4 и проверьте в логах запуска, что слои идут на GPU нативным путём.
- Цифры
- —46% — настолько быстрее обрабатывается длинный промпт при нативном NVFP4 по сравнению с отсутствием аппаратного ускорения
- —1% — настолько меняется скорость генерации ответа в том же тесте
- —12% — прирост скорости одиночной генерации у NVFP4 против Q4KM в тесте Libertai на RTX 5090
- —14,7 ГБ против 16,3 ГБ — столько видеопамяти заняла гибридная NVFP4-конверсия и обычный Q4KM в тесте Libertai
- Честно
- Автор просит подписаться на канал, но продуктов и курсов не рекламирует. Цифры из тестов условны: бенчмарк разработчика шёл на неназванном железе, тест Libertai замерял только 512 входных и 128 выходных токенов и не сравнивал качество ответов, а оценка памяти не проверялась независимо. Конкретных команд в ролике нет, их придётся искать в документации рантайма.
Если слова незнакомы — 8 терминов
- NVFP44-битный формат чисел NVIDIA для хранения весов модели
- Q4KMраспространённый способ 4-битного квантования, с которым сравнивают NVFP4
- тензорные ядрааппаратные блоки GPU, выполняющие матричные операции для нейросетей
- рантаймпрограмма, которая запускает модель и управляет вычислениями
- промпттекст, который ты подаёшь модели
- токенкусочек слова или целое слово, на которые разбивается текст
- видеопамятьпамять на видеокарте, где хранятся веса и промежуточные данные
- кэшсохранённые вычисления, чтобы не пересчитывать их для каждого токена
Связки из этого ролика
2 шт.- Blackwell NVFP4
- Q4KM
Компоненты
2 шт.Формат: разбор · для практикующих · уверенность разметки 0.9 · источник