KV-кэш: почему скорость генерации зависит от чипа

Что в ролике
Когда модель генерирует ответ слово за словом, каждому новому токену нужны ключи и значения всех предыдущих токенов, иначе пришлось бы заново перечитывать весь разговор. Чтобы не пересчитывать историю, модель хранит её в KV-кэше — «конспекте» прошлых вычислений внимания. Проблема не только в объёме хранения, а в том, как быстро подвозить нужные части KV-кэша из большой и медленной памяти к быстрым локальным буферам вычислительных блоков. На типичном дата-центровом GPU кэш лежит в HBM, а движением данных управляют serving-рантайм и ядра: например, память выдаётся блоками по требованию, как виртуальная память в ОС. На TPU Google тем же разрывом между HBM и быстрой векторной памятью (VMEM) заведуют компилятор и ядра: данные заранее режут на тайлы и подгружают следующий тайл во время вычислений (тайлинг и пайплайнинг). Ускоритель IBM Spire сочетает 128 ГБ LPDDR5 на карту и 32 ядра с 2 МБ scratchpad SRAM каждое, а компилятор явно планирует загрузки и сохранения, чтобы подкармливать scratchpad. Поэтому один и тот же KV-кэш при одинаковой модели может идти по разному пути в памяти и управляться разным слоем — от этого зависят эффективность и пропускная способность на длинном контексте. При сравнении ускорителей стоит спрашивать не только сколько операций они считают, но и как они перемещают состояние памяти.
Практика
- Что получишь
- Понимание, почему одинаковые модели ведут себя по-разному на разных ускорителях, и критерий для сравнения: как чип перемещает состояние памяти, а не только сколько операций в секунду выполняет.
- Первый шаг
- Начать с изучения архитектуры памяти конкретного чипа: сравнить объёмы HBM и быстрой on-chip памяти и понять, какой слой управляет перемещением KV-кэша.
- Цифры
- —128 ГБ — объём LPDDR5-памяти на одной карте IBM Spire
- —32 — число активных ядер на карте Spire
- —2 МБ — размер scratchpad SRAM на каждое ядро Spire
- Честно
- Ролик выпущен на канале IBM Technology, и третий пример — ускоритель IBM Spire, то есть это мягкая демонстрация собственного железа IBM. Практических инструкций по настройке нет: объяснение концептуальное, все схемы и названия видны только на экране.
Если слова незнакомы — 8 терминов
- токенединица текста, которую модель обрабатывает за один шаг генерации
- KV-кэшсохранённые ключи и значения предыдущих токенов, чтобы не пересчитывать их при генерации каждого нового слова
- HBMпамять большого объёма с высокой пропускной способностью, но медленнее встроенной SRAM
- serving-рантаймпрограмма, управляющая выполнением модели и распределением памяти при обслуживании запросов
- ядра (kernels)низкоуровневые функции, выполняемые на GPU/TPU для вычислений и доступа к памяти
- компиляторпрограмма, заранее преобразующая вычисления в машинный код и планирующая перемещения данных
- тайлинг и пайплайнингразбиение данных на блоки и совмещение загрузки следующего блока с вычислениями текущего
- scratchpad SRAMбыстрая встроенная память небольшого объёма рядом с вычислительными ядрами, управляемая программно
Компоненты
3 шт.Формат: разбор · для практикующих · уверенность разметки 0.9 · источник