К содержимому
Дайджест

NVFP4 на Blackwell: реальный прирост, а не 2X

The Stack·1 октября 2026·11:04
можно прочитать понять, как устроено пошагово
Открыть на YouTube
Разбор формата NVFP4 для тех, кто запускает локальные модели на GPU и хочет понять, когда он даёт выигрыш, а когда нет.

Что в ролике

Если вы запускаете локальные модели на видеокарте и ждёте двукратного ускорения от нового 4-битного формата NVIDIA, реальные цифры скромнее. NVFP4 упаковывает веса модели в 4-битные числа с общим множителем на небольшие группы, а ускоряется только на архитектуре Blackwell, где тензорные ядра умеют считать с этими значениями напрямую. При этом софт для запуска должен поддерживать нативный путь, иначе старый GPU распакует формат в другой и потеряет прирост. Разгон сильнее всего заметен при чтении длинного промпта: в тесте разработчика на 27B-модели Qwen обработка запроса стала быстрее на 46%, а генерация ответа почти не изменилась — всего 1%. В опубликованном тесте Libertai на RTX 5090 та же модель в NVFP4 дала 12% выше скорость генерации по сравнению с Q4KM, а общая пропускная способность выросла на 9% при фиксированных 512 входных и 128 выходных токенах. Гибридная конверсия заняла 14,7 ГБ видеопамяти против 16,3 ГБ у Q4KM, но это не гарантирует, что длинный разговор поместится в память, потому что кэш и рабочая область рантайма не учтены полностью. Качество не всегда совпадает: предварительный тест на маленькой модели показал, что Q4K держался ближе к эталону, чем NVFP4, а для 27B-модели сопоставимой оценки точности нет. Поэтому правило простое: сравните обе конверсии одной модели на своей задаче и оставьте ту, что даёт достоверный ответ быстрее и влезает в память.

Практика

Что получишь
Поймёте, какие условия должны совпасть для ускорения, и получите схему честного сравнения NVFP4 с обычным Q4KM на своей карте.
Первый шаг
Возьмите поддерживаемую сборку llama.cpp для Blackwell, сконвертируйте свою модель в NVFP4 и проверьте в логах запуска, что слои идут на GPU нативным путём.
Цифры
  • —46% — настолько быстрее обрабатывается длинный промпт при нативном NVFP4 по сравнению с отсутствием аппаратного ускорения
  • —1% — настолько меняется скорость генерации ответа в том же тесте
  • —12% — прирост скорости одиночной генерации у NVFP4 против Q4KM в тесте Libertai на RTX 5090
  • —14,7 ГБ против 16,3 ГБ — столько видеопамяти заняла гибридная NVFP4-конверсия и обычный Q4KM в тесте Libertai
Честно
Автор просит подписаться на канал, но продуктов и курсов не рекламирует. Цифры из тестов условны: бенчмарк разработчика шёл на неназванном железе, тест Libertai замерял только 512 входных и 128 выходных токенов и не сравнивал качество ответов, а оценка памяти не проверялась независимо. Конкретных команд в ролике нет, их придётся искать в документации рантайма.
Если слова незнакомы — 8 терминов

Связки из этого ролика

2 шт.

Компоненты

2 шт.

Формат: разбор · для практикующих · уверенность разметки 0.9 · источник