Квантование LLM: от FP32 к 4 битам и NVFP4

Что в ролике
Автор начинает с длинного отрицательного числа и на примере щитка с 32 переключателями показывает, как компьютер хранит его в формате FP32: один бит под знак, восемь под экспоненту, 23 под мантиссу. Затем он объясняет двоичное преобразование через «монетный автомат» с монетами-степенями двойки и подчёркивает: квантование — это не сжатие, как zip или JPEG, а округление, потому что веса модели все уникальны и повторяющихся шаблонов нет. Дальше он показывает уменьшение разрядности: FP16 (1 знак, 5 экспонента, 10 мантисса) даёт точность, а BF16 (1 знак, 8 экспонента, 7 мантисса) — широкий диапазон при той же 16-битной коробке. Затем он доходит до 8-битных и 4-битных форматов, где обычный FP4 имеет лишь 16 возможных значений и без ухищрений разрушает модель. Главный трюк Nvidia — NVFP4: для каждого блока из 16 весов хранится свой масштаб в 8-битном формате, на который числа делятся при сохранении и умножаются при чтении, поэтому точность выше, чем у MXFP4 с блоком 32. Дальше переход к целым числам: вместо округления каждого из 16 FP32-значений к ближайшему целому автор строит общий диапазон, делит его на 16 корзин и хранит только индекс корзины, масштаб и нулевую точку, получая 8-кратную экономию железа при минимальной ошибке. В конце он разводит два подхода: PTQ — однократное округление готовой модели, и QAT — обучение с учётом квантования, которое в полном виде есть только у моделей уровня Gemma, тогда как пользователи открытых весов могут делать только PTQ. Закончив, он обещает в следующем видео разобрать детали выбора масштаба, группировку чисел и упаковку битов — то, что скрывается за маркировками GGUF.
Практика
- Что получишь
- Понимание разницы между сжатием и округлением весов и того, почему NVFP4 и целочисленные сетки дают выигрыш. После просмотра вы сможете осознанно читать маркировки GGUF и понимать, чем PTQ отличается от QAT.
- Первый шаг
- Начать с числа 0,4 из примера и пройти шаги перевода в FP32 по инструкции из конца видео, включая поправку сдвига экспоненты.
- Цифры
- —84,5 токена в секунду — скорость модели на 180 млрд параметров на RTX 5070 из предыдущего ролика
- —32 переключателя — размер FP32: 1 бит знак, 8 бит экспонента, 23 бита мантисса
- —16 возможных значений — столько вариантов у 4-битного числа, из-за чего FP4 без масштаба разрушает модель
- —8 раз меньше переключателей — экономия при хранении 16 индексов по 4 бита вместо 16 FP32-чисел
- Честно
- Прямой рекламы продукта нет, но ролик завершается просьбой поставить лайк и подписаться ради следующей части о методах выбора масштаба. Часть объяснения (полная мантисса, точные битовые комбинации) видна только на экране, поэтому для самостоятельного расчёта придётся пересматривать видео. Утверждение, что QAT доступен лишь двум-трём компаниям, — мнение автора, а не проверенный факт.
Если слова незнакомы — 8 терминов
- FP32формат хранения числа с плавающей точкой на 32 битах: знак, экспонента и мантисса
- экспонентачасть числа, которая хранит сдвиг десятичной точки
- мантиссачасть числа, которая хранит дробные разряды
- BF1616-битный формат с широким диапазоном за счёт 8 бит под экспоненту
- NVFP44-битный формат Nvidia, где для каждого блока из 16 чисел добавляется свой масштаб
- PTQпосттренировочное квантование — округление уже готовой модели один раз после обучения
- QATобучение модели с учётом будущего квантования, чтобы она компенсировала ошибки округления
- GGUFформат файла для запуска квантованных языковых моделей
Связки из этого ролика
8 шт.- FP32
- FP16
- BF16
- FP8
- FP4
- NVFP4
- PTQ
- QAT
Формат: разбор · для практикующих · уверенность разметки 0.9 · источник