Memory wall: почему быстрые чипы не ускоряют LLM

Что в ролике
Если у вас модель не ускоряется при апгрейде GPU, причина обычно не в вычислениях, а в пропускной способности памяти — за 20 лет производительность чипов выросла примерно в 6000 раз, а пропускная способность памяти сильно отстала. Автор объясняет это через арифметическую интенсивность: сколько FLOPs приходится на каждый байт, прочитанный из памяти. В модели roofline линия пиковой вычислительной мощности и линия пропускной способности памяти пересекаются в точке ridge point; у B200 это 281 FLOPs на байт, потому что пик у одного чипа 2,25 петафлопс, а память 8 терабайт в секунду. Декодирование LLM с батчем размера 1 имеет арифметическую интенсивность около 1 и упирается в память, а prefill с большими матричными умножениями — больше 1000 и упирается в вычисления. Батчинг повторно использует одни и те же веса для нескольких запросов, увеличивает арифметическую интенсивность и приближает нагрузку к ridge point, поэтому vLLM, SGLang и TensorRT-LLM используют continuous batching. Итог: прежде чем бенчмаркать, полезно посчитать арифметическую интенсивность своей нагрузки и сравнить с ridge point из спецификации чипа.
Практика
- Что получишь
- Вы сможете по характеристикам нагрузки и чипа определить, в каком режиме работает ваша модель — memory bound или compute bound, и понять, стоит ли тратить время на батчинг или на ускорение памяти.
- Первый шаг
- Найдите в спецификации своего GPU пиковые FLOPs и пропускную способность памяти, посчитайте арифметическую интенсивность своей нагрузки и сравните её с ridge point.
- Цифры
- —6000 раз — во столько выросла пиковая производительность чипов за два десятилетия
- —281 FLOPs на байт — точка перегиба для одного GPU B200
- —8 терабайт в секунду — пропускная способность памяти этого GPU
- —1 FLOP на байт — типичная арифметическая интенсивность decode при батче размера 1
- Честно
- Это корпоративный образовательный ролик IBM Technology, конкретный платный продукт или курс не продвигается. Для повторения расчёта формулы и цифры показаны на экране, но готового кода нет.
Если слова незнакомы — 6 терминов
- FLOPsколичество вычислительных операций в секунду, характеризующее пиковую мощность чипа
- арифметическая интенсивностьсколько математических операций выполняется на каждый байт, прочитанный из памяти
- ridge pointточка на roofline-графике, где узкое место меняется с памяти на вычисления
- батчингобработка нескольких запросов одновременно с переиспользованием одних и тех же весов
- prefillпервая фаза обработки промпта, когда модель прогоняет все входные токены сразу
- decodeфаза пошаговой генерации ответа по одному токену
Связки из этого ролика
1 шт.- LLM serving
Компоненты
3 шт.Формат: разбор · для практикующих · уверенность разметки 0.85 · источник