К содержимому
Дайджест

KV-кэш: почему скорость генерации зависит от чипа

IBM Technology·8 ноября 2026·10:01
можно прочитать понять, как устроено
Открыть на YouTube
Объяснение архитектуры KV-кэша и различий в доступе к памяти на GPU, TPU и IBM Spire для тех, кто сравнивает ускорители для инференса.

Что в ролике

Когда модель генерирует ответ слово за словом, каждому новому токену нужны ключи и значения всех предыдущих токенов, иначе пришлось бы заново перечитывать весь разговор. Чтобы не пересчитывать историю, модель хранит её в KV-кэше — «конспекте» прошлых вычислений внимания. Проблема не только в объёме хранения, а в том, как быстро подвозить нужные части KV-кэша из большой и медленной памяти к быстрым локальным буферам вычислительных блоков. На типичном дата-центровом GPU кэш лежит в HBM, а движением данных управляют serving-рантайм и ядра: например, память выдаётся блоками по требованию, как виртуальная память в ОС. На TPU Google тем же разрывом между HBM и быстрой векторной памятью (VMEM) заведуют компилятор и ядра: данные заранее режут на тайлы и подгружают следующий тайл во время вычислений (тайлинг и пайплайнинг). Ускоритель IBM Spire сочетает 128 ГБ LPDDR5 на карту и 32 ядра с 2 МБ scratchpad SRAM каждое, а компилятор явно планирует загрузки и сохранения, чтобы подкармливать scratchpad. Поэтому один и тот же KV-кэш при одинаковой модели может идти по разному пути в памяти и управляться разным слоем — от этого зависят эффективность и пропускная способность на длинном контексте. При сравнении ускорителей стоит спрашивать не только сколько операций они считают, но и как они перемещают состояние памяти.

Практика

Что получишь
Понимание, почему одинаковые модели ведут себя по-разному на разных ускорителях, и критерий для сравнения: как чип перемещает состояние памяти, а не только сколько операций в секунду выполняет.
Первый шаг
Начать с изучения архитектуры памяти конкретного чипа: сравнить объёмы HBM и быстрой on-chip памяти и понять, какой слой управляет перемещением KV-кэша.
Цифры
  • —128 ГБ — объём LPDDR5-памяти на одной карте IBM Spire
  • —32 — число активных ядер на карте Spire
  • —2 МБ — размер scratchpad SRAM на каждое ядро Spire
Честно
Ролик выпущен на канале IBM Technology, и третий пример — ускоритель IBM Spire, то есть это мягкая демонстрация собственного железа IBM. Практических инструкций по настройке нет: объяснение концептуальное, все схемы и названия видны только на экране.
Если слова незнакомы — 8 терминов

Компоненты

3 шт.

Формат: разбор · для практикующих · уверенность разметки 0.9 · источник