Квантование LLM: как сжать 70B-модель до 35 ГБ

Что в ролике
Большие языковые модели — это миллиарды параметров, и каждый параметр нужно где-то хранить, поэтому формат хранения напрямую определяет, сколько памяти и вычислений потребует модель. Обычно параметры хранят в FP16 или BF16, то есть тратят 16 бит или 2 байта на каждый, и модель с 70 млрд параметров занимает около 140 ГБ — больше, чем есть на многих одиночных GPU в дата-центрах. Квантование сжимает такие числа послойно: для каждого слоя берут диапазон значений, например от 0 до 100, и отображают его в меньший набор, например от 0 до 10, округляя каждое значение — так 53 превращается в 5,3 и затем в 5. На практике меньшие форматы — FP8 или INT8 занимают 1 байт на параметр, а INT4 — полбайта, поэтому та же 70B-модель весит 70 ГБ в 8-битном виде и 35 ГБ в 4-битном. Цена сжатия — потеря точности: при INT8 большинство моделей сохраняют качество и заметно выигрывают в задержке, а при INT4 риск потери точности выше, но с аккуратным округлением обычно падение не превышает 1%, и модель остаётся выше 90% исходной точности. Квантовать можно после обучения — это посттренировочное квантование (PTQ), быстрый и самый распространённый подход. Второй вариант — обучение с учётом квантования (QAT), когда низкую точность моделируют ещё во время тренировки; это дороже по времени и вычислениям, но лучше держит точность на агрессивных уровнях вроде INT4. Итог простой: квантование — это обмен точности на память и скорость, и насколько сильно сжимать, зависит от того, что модель должна сохранить.
Практика
- Что получишь
- Понимание того, как выбор точности хранения параметров влияет на размер и скорость LLM, и как работают два подхода к квантованию — после обучения и во время обучения.
- Первый шаг
- Посчитать, сколько памяти занимает ваша модель при точности FP16, INT8 и INT4, умножив число параметров на 2 байта, 1 байт или 0,5 байта — это сразу покажет, есть ли смысл сжимать.
- Цифры
- —140 ГБ — столько в формате FP16 занимает модель с 70 млрд параметров
- —70 ГБ и 35 ГБ — размер той же модели в 8-битном и 4-битном форматах соответственно
- —53 → 5,3 → 5 — пример квантования значения из диапазона 0–100 в диапазон 0–10
- —1% — максимальная типичная потеря точности при хорошо выполненном квантовании, модель обычно остаётся выше 90% исходной точности
- Честно
- Ролик не рекламирует конкретные продукты и не содержит призывов покупать что-либо, но это канал IBM Technology, то есть объяснение дано с точки зрения одной компании. Кода и готовых рецептов квантования в ролике нет — только объяснение принципа и расчёты на примерах, поэтому для практики придётся искать библиотеки отдельно.
Если слова незнакомы — 7 терминов
- FP16формат числа с плавающей точкой, занимающий 16 бит (2 байта)
- BF16формат числа с плавающей точкой, тоже 16 бит, но с другим распределением битов между порядком и мантиссой
- FP8формат числа с плавающей точкой, занимающий 8 бит (1 байт)
- INT8целочисленный 8-битный формат, 1 байт на число
- INT4целочисленный 4-битный формат, полбайта на число
- PTQпосттренировочное квантование — сжатие уже обученной модели
- QATобучение с учётом квантования, когда модель тренируют сразу под низкую точность
Формат: разбор · для практикующих · уверенность разметки 0.9 · источник