К содержимому
Дайджест

Memory wall: почему быстрые чипы не ускоряют LLM

IBM Technology·18 октября 2026·12:21
текст даёт основное понять, как устроено
Открыть на YouTube
Объяснение причины, по которой рост вычислительной мощности GPU не всегда ускоряет инференс, для инженеров и всех, кто строит или обслуживает модели.

Что в ролике

Если у вас модель не ускоряется при апгрейде GPU, причина обычно не в вычислениях, а в пропускной способности памяти — за 20 лет производительность чипов выросла примерно в 6000 раз, а пропускная способность памяти сильно отстала. Автор объясняет это через арифметическую интенсивность: сколько FLOPs приходится на каждый байт, прочитанный из памяти. В модели roofline линия пиковой вычислительной мощности и линия пропускной способности памяти пересекаются в точке ridge point; у B200 это 281 FLOPs на байт, потому что пик у одного чипа 2,25 петафлопс, а память 8 терабайт в секунду. Декодирование LLM с батчем размера 1 имеет арифметическую интенсивность около 1 и упирается в память, а prefill с большими матричными умножениями — больше 1000 и упирается в вычисления. Батчинг повторно использует одни и те же веса для нескольких запросов, увеличивает арифметическую интенсивность и приближает нагрузку к ridge point, поэтому vLLM, SGLang и TensorRT-LLM используют continuous batching. Итог: прежде чем бенчмаркать, полезно посчитать арифметическую интенсивность своей нагрузки и сравнить с ridge point из спецификации чипа.

Практика

Что получишь
Вы сможете по характеристикам нагрузки и чипа определить, в каком режиме работает ваша модель — memory bound или compute bound, и понять, стоит ли тратить время на батчинг или на ускорение памяти.
Первый шаг
Найдите в спецификации своего GPU пиковые FLOPs и пропускную способность памяти, посчитайте арифметическую интенсивность своей нагрузки и сравните её с ridge point.
Цифры
  • —6000 раз — во столько выросла пиковая производительность чипов за два десятилетия
  • —281 FLOPs на байт — точка перегиба для одного GPU B200
  • —8 терабайт в секунду — пропускная способность памяти этого GPU
  • —1 FLOP на байт — типичная арифметическая интенсивность decode при батче размера 1
Честно
Это корпоративный образовательный ролик IBM Technology, конкретный платный продукт или курс не продвигается. Для повторения расчёта формулы и цифры показаны на экране, но готового кода нет.
Если слова незнакомы — 6 терминов

Связки из этого ролика

1 шт.

Компоненты

3 шт.

Формат: разбор · для практикующих · уверенность разметки 0.85 · источник