Сжатый KV-кэш без потерь: плюс 26% пропускной способности

Что в ролике
Если вы гоняете LLM на одном GPU и упираетесь в пропускную способность памяти, препринт Zip Fusion предлагает читать сжатый KV-кэш прямо из памяти без отдельной распаковки. Авторы сжимают BF-16-значения кэша с 16 до 12 бит, оставляя семь битов дробной части нетронутыми, и гарантируют побитовое восстановление через целочисленное сложение в регистрах. На одном H100 с восьмимиллиардной Llama 3 при батче 32 сжатие дало примерно 15% прироста пропускной способности против обычного BF-16 и в 2,5 раза обогнало самый быстрый старый lossless-компрессор. Полный прирост из заголовка — 26,3% — складывается из ускорения attention примерно на 20% и роста числа одновременных диалогов с 46 до 57. Время attention на батче 64 с 8000 входных токенов упало с примерно 700 до 560 микросекунд. При этом префил и начальное сжатие не замерялись, новые токены в кэше остаются несжатыми, а максимум экономии ограничен 25% исходного размера. Кода нет, тесты только на H100, поэтому для работающих серверов практичнее проверить FP8 в vLLM: оно режет кэш вдвое и в одном тесте дало 14,9% прироста, хотя меняет значения и не гарантирует точность.
Практика
- Что получишь
- Поймёте, где именно сжатие KV-кэша даёт прирост — в числе одновременных диалогов, а не в скорости каждого ответа, и чем это отличается от FP8.
- Первый шаг
- Если обслуживаете модели через vLLM или SGLang, включите FP8-кэш на своей нагрузке и проверьте, не упала ли точность ниже 95%.
- Цифры
- —15% — прирост пропускной способности на восьмимиллиардной Llama 3 при батче 32 против BF-16
- —26,3% — общий прирост пропускной способности: с 46 до 57 одновременных диалогов на одном H100
- —700 до 560 микросекунд — время attention на батче 64 с 8000 входных токенов
- —14,9% — прирост в тесте vLLM с FP8-кэшем на H100 под нагрузкой
- Честно
- Автор просит подписаться и рекламирует платное сообщество The Stack, где показывает свой продакшен-воркфлоу. Кода Zip Fusion нет, поэтому повторить эксперимент нельзя; все замеры сделаны на H100, а случай одиночного пользователя на локальной машине не тестировался.
Если слова незнакомы — 6 терминов
- KV-кэшпамять, где модель хранит ключи и значения для механизма внимания
- BF-1616-битный формат чисел с плавающей точкой, используемый на GPU
- lossless-компрессорсжатие без потери информации, восстанавливающее данные бит в бит
- префилэтап обработки входного промпта до начала генерации токенов
- батчколичество запросов, которые модель обрабатывает одновременно
- FP88-битный формат хранения чисел, который уменьшает память, но вносит небольшие искажения
Компоненты
3 шт.Формат: разбор · для продвинутых · уверенность разметки 0.88 · источник