К содержимому
Дайджест

Как запустить модель, которая не влезает в один GPU

IBM Technology·6 октября 2026·9:04
можно прочитать понять, как устроено
Открыть на YouTube
Разбор архитектурных приёмов распределённого инференса для инженеров, которые хотят понимать, как большие языковые модели обслуживают миллионы пользователей без одного суперкомпьютера.

Что в ролике

Модели на триллионы параметров требуют около 2 ТБ памяти, а самый большой GPU даёт 288 ГБ, поэтому реальные системы работают на десятках или сотнях GPU, а не на одной машине. В продакшене одновременно нужно решить три ограничения: уместить веса модели, сдержать рост KV-кэша и обслужить много одновременных запросов. Если модель помещается на одном GPU, но пользователей много, помогает data parallelism — полные копии модели на нескольких GPU с интеллектуальной маршрутизацией запросов. Когда модель не помещается, её разрезают по слоям (pipeline parallelism), и чтобы GPU не простаивали, запросы подают непрерывно, как на конвейере. Tensor parallelism делит каждый отдельный слой: GPU считают свои части и объединяют результаты, но для этого нужен быстрый интерконнект внутри одного сервера. Для моделей-смесей экспертов (MoE) есть expert parallelism: подсети-эксперты распределяют по GPU, и на каждом слое токен уходит примерно к восьми экспертам из 256. Prefill и decode разводят по отдельным пулам GPU, потому что prefill упирается в вычисления и строит KV-кэш, а decode упирается в пропускную способность памяти и на каждом шаге тянет весь кэш. В реальных развёртываниях эти техники комбинируют в multi-dimensional parallelism, а сверху работает оркестрация: маршрутизация, балансировка нагрузки и обработка сбоев.

Практика

Что получишь
Разберётесь, какие виды параллелизма решают какую проблему и почему в проде их объединяют; сможете осмысленно выбирать между репликацией, шардированием и разделением prefill/decode.
Первый шаг
Начните с определения главного ограничения своей модели: не влезают веса, растёт KV-кэш или упирается пропускная способность запросов.
Цифры
  • —2 ТБ — столько памяти нужно для весов модели на триллион параметров
  • —288 ГБ — максимум памяти одного современного GPU
  • —8 из 256 — столько экспертов обычно выбирает маршрутизатор на каждом MoE-слое для токена
Честно
Это образовательный ролик корпоративного канала IBM Technology: прямой рекламы конкретных продуктов нет, но канал продвигает экспертизу IBM. Все схемы и примеры показаны на экране, их детали в тексте не воспроизведены. Пошаговой инструкции по развёртыванию в видео нет, это концептуальный обзор архитектурных паттернов.
Если слова незнакомы — 10 терминов

Формат: разбор · для практикующих · уверенность разметки 0.9 · источник