К содержимому
Дайджест

Квантование LLM: как сжать 70B-модель до 35 ГБ

IBM Technology·29 октября 2026·8:01
можно прочитать понять, как устроено
Открыть на YouTube
Объяснение принципа квантования больших языковых моделей для разработчиков и всех, кто хочет понять, почему модели становятся меньше и быстрее.

Что в ролике

Большие языковые модели — это миллиарды параметров, и каждый параметр нужно где-то хранить, поэтому формат хранения напрямую определяет, сколько памяти и вычислений потребует модель. Обычно параметры хранят в FP16 или BF16, то есть тратят 16 бит или 2 байта на каждый, и модель с 70 млрд параметров занимает около 140 ГБ — больше, чем есть на многих одиночных GPU в дата-центрах. Квантование сжимает такие числа послойно: для каждого слоя берут диапазон значений, например от 0 до 100, и отображают его в меньший набор, например от 0 до 10, округляя каждое значение — так 53 превращается в 5,3 и затем в 5. На практике меньшие форматы — FP8 или INT8 занимают 1 байт на параметр, а INT4 — полбайта, поэтому та же 70B-модель весит 70 ГБ в 8-битном виде и 35 ГБ в 4-битном. Цена сжатия — потеря точности: при INT8 большинство моделей сохраняют качество и заметно выигрывают в задержке, а при INT4 риск потери точности выше, но с аккуратным округлением обычно падение не превышает 1%, и модель остаётся выше 90% исходной точности. Квантовать можно после обучения — это посттренировочное квантование (PTQ), быстрый и самый распространённый подход. Второй вариант — обучение с учётом квантования (QAT), когда низкую точность моделируют ещё во время тренировки; это дороже по времени и вычислениям, но лучше держит точность на агрессивных уровнях вроде INT4. Итог простой: квантование — это обмен точности на память и скорость, и насколько сильно сжимать, зависит от того, что модель должна сохранить.

Практика

Что получишь
Понимание того, как выбор точности хранения параметров влияет на размер и скорость LLM, и как работают два подхода к квантованию — после обучения и во время обучения.
Первый шаг
Посчитать, сколько памяти занимает ваша модель при точности FP16, INT8 и INT4, умножив число параметров на 2 байта, 1 байт или 0,5 байта — это сразу покажет, есть ли смысл сжимать.
Цифры
  • —140 ГБ — столько в формате FP16 занимает модель с 70 млрд параметров
  • —70 ГБ и 35 ГБ — размер той же модели в 8-битном и 4-битном форматах соответственно
  • —53 → 5,3 → 5 — пример квантования значения из диапазона 0–100 в диапазон 0–10
  • —1% — максимальная типичная потеря точности при хорошо выполненном квантовании, модель обычно остаётся выше 90% исходной точности
Честно
Ролик не рекламирует конкретные продукты и не содержит призывов покупать что-либо, но это канал IBM Technology, то есть объяснение дано с точки зрения одной компании. Кода и готовых рецептов квантования в ролике нет — только объяснение принципа и расчёты на примерах, поэтому для практики придётся искать библиотеки отдельно.
Если слова незнакомы — 7 терминов

Формат: разбор · для практикующих · уверенность разметки 0.9 · источник