К содержимому
Дайджест

Сжатый KV-кэш без потерь: плюс 26% пропускной способности

The Stack·3 ноября 2026·10:35
можно прочитать понять, как устроено промо
Открыть на YouTube
Разбор препринта Zip Fusion о сжатии KV-кэша без потерь для тех, кто обслуживает LLM и хочет ускорить генерацию без изменения весов.

Что в ролике

Если вы гоняете LLM на одном GPU и упираетесь в пропускную способность памяти, препринт Zip Fusion предлагает читать сжатый KV-кэш прямо из памяти без отдельной распаковки. Авторы сжимают BF-16-значения кэша с 16 до 12 бит, оставляя семь битов дробной части нетронутыми, и гарантируют побитовое восстановление через целочисленное сложение в регистрах. На одном H100 с восьмимиллиардной Llama 3 при батче 32 сжатие дало примерно 15% прироста пропускной способности против обычного BF-16 и в 2,5 раза обогнало самый быстрый старый lossless-компрессор. Полный прирост из заголовка — 26,3% — складывается из ускорения attention примерно на 20% и роста числа одновременных диалогов с 46 до 57. Время attention на батче 64 с 8000 входных токенов упало с примерно 700 до 560 микросекунд. При этом префил и начальное сжатие не замерялись, новые токены в кэше остаются несжатыми, а максимум экономии ограничен 25% исходного размера. Кода нет, тесты только на H100, поэтому для работающих серверов практичнее проверить FP8 в vLLM: оно режет кэш вдвое и в одном тесте дало 14,9% прироста, хотя меняет значения и не гарантирует точность.

Практика

Что получишь
Поймёте, где именно сжатие KV-кэша даёт прирост — в числе одновременных диалогов, а не в скорости каждого ответа, и чем это отличается от FP8.
Первый шаг
Если обслуживаете модели через vLLM или SGLang, включите FP8-кэш на своей нагрузке и проверьте, не упала ли точность ниже 95%.
Цифры
  • —15% — прирост пропускной способности на восьмимиллиардной Llama 3 при батче 32 против BF-16
  • —26,3% — общий прирост пропускной способности: с 46 до 57 одновременных диалогов на одном H100
  • —700 до 560 микросекунд — время attention на батче 64 с 8000 входных токенов
  • —14,9% — прирост в тесте vLLM с FP8-кэшем на H100 под нагрузкой
Честно
Автор просит подписаться и рекламирует платное сообщество The Stack, где показывает свой продакшен-воркфлоу. Кода Zip Fusion нет, поэтому повторить эксперимент нельзя; все замеры сделаны на H100, а случай одиночного пользователя на локальной машине не тестировался.
Если слова незнакомы — 6 терминов

Компоненты

3 шт.

Формат: разбор · для продвинутых · уверенность разметки 0.88 · источник