Как запустить модель, которая не влезает в один GPU

Что в ролике
Модели на триллионы параметров требуют около 2 ТБ памяти, а самый большой GPU даёт 288 ГБ, поэтому реальные системы работают на десятках или сотнях GPU, а не на одной машине. В продакшене одновременно нужно решить три ограничения: уместить веса модели, сдержать рост KV-кэша и обслужить много одновременных запросов. Если модель помещается на одном GPU, но пользователей много, помогает data parallelism — полные копии модели на нескольких GPU с интеллектуальной маршрутизацией запросов. Когда модель не помещается, её разрезают по слоям (pipeline parallelism), и чтобы GPU не простаивали, запросы подают непрерывно, как на конвейере. Tensor parallelism делит каждый отдельный слой: GPU считают свои части и объединяют результаты, но для этого нужен быстрый интерконнект внутри одного сервера. Для моделей-смесей экспертов (MoE) есть expert parallelism: подсети-эксперты распределяют по GPU, и на каждом слое токен уходит примерно к восьми экспертам из 256. Prefill и decode разводят по отдельным пулам GPU, потому что prefill упирается в вычисления и строит KV-кэш, а decode упирается в пропускную способность памяти и на каждом шаге тянет весь кэш. В реальных развёртываниях эти техники комбинируют в multi-dimensional parallelism, а сверху работает оркестрация: маршрутизация, балансировка нагрузки и обработка сбоев.
Практика
- Что получишь
- Разберётесь, какие виды параллелизма решают какую проблему и почему в проде их объединяют; сможете осмысленно выбирать между репликацией, шардированием и разделением prefill/decode.
- Первый шаг
- Начните с определения главного ограничения своей модели: не влезают веса, растёт KV-кэш или упирается пропускная способность запросов.
- Цифры
- —2 ТБ — столько памяти нужно для весов модели на триллион параметров
- —288 ГБ — максимум памяти одного современного GPU
- —8 из 256 — столько экспертов обычно выбирает маршрутизатор на каждом MoE-слое для токена
- Честно
- Это образовательный ролик корпоративного канала IBM Technology: прямой рекламы конкретных продуктов нет, но канал продвигает экспертизу IBM. Все схемы и примеры показаны на экране, их детали в тексте не воспроизведены. Пошаговой инструкции по развёртыванию в видео нет, это концептуальный обзор архитектурных паттернов.
Если слова незнакомы — 10 терминов
- GPUграфический процессор, который используют для вычислений в моделях
- KV-кэшрабочая память модели, где хранится контекст разговора и предыдущие токены
- data parallelismкопирование всей модели на несколько GPU и распределение запросов между ними
- pipeline parallelismразрезание модели по слоям между GPU, запрос проходит последовательно
- tensor parallelismдробление каждого слоя между GPU с объединением результатов
- MoEмодель из множества маленьких подсетей-экспертов, из которых активна часть
- expert parallelismраспределение подсетей-экспертов MoE по разным GPU
- prefillстадия, когда модель читает и понимает входной запрос, строит KV-кэш
- decodeстадия, когда модель генерирует ответ по одному токену, тянет весь KV-кэш
- оркестрацияслой управления, который маршрутизирует запросы и обрабатывает сбои
Формат: разбор · для практикующих · уверенность разметки 0.9 · источник