К содержимому
Дайджест

Квантование LLM: от FP32 к 4 битам и NVFP4

Inference Guru·16 октября 2026·16:15
текст даёт основное понять, как устроено
Открыть на YouTube
Обучающий разбор квантования весов нейросетей на простых примерах — для тех, кто хочет понять, как большие языковые модели помещаются на домашних видеокартах.

Что в ролике

Автор начинает с длинного отрицательного числа и на примере щитка с 32 переключателями показывает, как компьютер хранит его в формате FP32: один бит под знак, восемь под экспоненту, 23 под мантиссу. Затем он объясняет двоичное преобразование через «монетный автомат» с монетами-степенями двойки и подчёркивает: квантование — это не сжатие, как zip или JPEG, а округление, потому что веса модели все уникальны и повторяющихся шаблонов нет. Дальше он показывает уменьшение разрядности: FP16 (1 знак, 5 экспонента, 10 мантисса) даёт точность, а BF16 (1 знак, 8 экспонента, 7 мантисса) — широкий диапазон при той же 16-битной коробке. Затем он доходит до 8-битных и 4-битных форматов, где обычный FP4 имеет лишь 16 возможных значений и без ухищрений разрушает модель. Главный трюк Nvidia — NVFP4: для каждого блока из 16 весов хранится свой масштаб в 8-битном формате, на который числа делятся при сохранении и умножаются при чтении, поэтому точность выше, чем у MXFP4 с блоком 32. Дальше переход к целым числам: вместо округления каждого из 16 FP32-значений к ближайшему целому автор строит общий диапазон, делит его на 16 корзин и хранит только индекс корзины, масштаб и нулевую точку, получая 8-кратную экономию железа при минимальной ошибке. В конце он разводит два подхода: PTQ — однократное округление готовой модели, и QAT — обучение с учётом квантования, которое в полном виде есть только у моделей уровня Gemma, тогда как пользователи открытых весов могут делать только PTQ. Закончив, он обещает в следующем видео разобрать детали выбора масштаба, группировку чисел и упаковку битов — то, что скрывается за маркировками GGUF.

Практика

Что получишь
Понимание разницы между сжатием и округлением весов и того, почему NVFP4 и целочисленные сетки дают выигрыш. После просмотра вы сможете осознанно читать маркировки GGUF и понимать, чем PTQ отличается от QAT.
Первый шаг
Начать с числа 0,4 из примера и пройти шаги перевода в FP32 по инструкции из конца видео, включая поправку сдвига экспоненты.
Цифры
  • —84,5 токена в секунду — скорость модели на 180 млрд параметров на RTX 5070 из предыдущего ролика
  • —32 переключателя — размер FP32: 1 бит знак, 8 бит экспонента, 23 бита мантисса
  • —16 возможных значений — столько вариантов у 4-битного числа, из-за чего FP4 без масштаба разрушает модель
  • —8 раз меньше переключателей — экономия при хранении 16 индексов по 4 бита вместо 16 FP32-чисел
Честно
Прямой рекламы продукта нет, но ролик завершается просьбой поставить лайк и подписаться ради следующей части о методах выбора масштаба. Часть объяснения (полная мантисса, точные битовые комбинации) видна только на экране, поэтому для самостоятельного расчёта придётся пересматривать видео. Утверждение, что QAT доступен лишь двум-трём компаниям, — мнение автора, а не проверенный факт.
Если слова незнакомы — 8 терминов

Связки из этого ролика

8 шт.

Формат: разбор · для практикующих · уверенность разметки 0.9 · источник