Как поднять утилизацию GPU с 15% до 90% без изменения модели

Что в ролике
Если вы дообучаете мультимодальную модель, например на базе Qwen 3VL, узким местом часто оказывается не GPU, а подача данных — автор показывает это на конвейере для supervised fine-tuning. Базовая схема последовательно грузит изображения из S3, декодирует, ресайзит и токенизирует тексты, из-за чего GPU заняты лишь 15% времени, а 85% уходит на ожидание данных. Параллельная обработка через async IO и Ray actors ускоряет подготовку одного батча в 2,5 раза, но остаётся простой в ожидании запроса от тренера. Следующий шаг — фоновый поток с очередью, который готовит данные заранее, поэтому fetch и transform почти обнуляются. Чтобы убрать лишние копии многомегабайтных тензоров между процессами, автор переводит передачу на Ray object store с указателями вместо самих массивов — это снижает долю ожидания до 20%. При масштабировании в четыре раза по data parallel рангам и батч-сайзу упирается сетевой интерфейс узла, потому что Ray по умолчанию селит воркеров рядом; помогают флаги spread scheduling и zero-copy retrieval, которые вместе дают ещё 50% пропускной способности. Итог — GPU утилизируются до 90%, а главный вывод: бороться надо не с моделью, а с конвейером данных.
Практика
- Что получишь
- Практическую схему ускорения обучения мультимодальных моделей: как параллелить загрузку и обработку данных, настроить предзагрузку и убрать лишние копии, подняв утилизацию GPU без изменения самой модели.
- Первый шаг
- Снять профилировщиком baseline своего пайплайна и посчитать wait time ratio (долю времени ожидания данных), чтобы понять, CPU-bound или GPU-bound ваша задача.
- Цифры
- —15% — начальная утилизация GPU в базовом пайплайне
- —90% — итоговая утилизация GPU после всех оптимизаций
- —85% — доля времени, уходившая на ожидание данных до оптимизаций
- —50% — дополнительный прирост пропускной способности от двух флагов при масштабировании
- Честно
- Это запись технического доклада без продвижения продукта. Точные параметры конфигурации, код и графики профилирования показаны на слайдах, в транскрипте остались только названия флагов и общая логика, поэтому для повторения придётся досматривать слайды.
Если слова незнакомы — 7 терминов
- Ray actorsспособ запускать изолированные процессы-обработчики с удобным общением через API библиотеки Ray
- async IOасинхронный ввод-вывод для параллельного выполнения сетевых запросов без блокировки
- data parallel ranksкопии модели на разных GPU, которые обрабатывают свои порции данных и синхронизируют веса
- object storeхранилище данных внутри Ray, где тензоры лежат по ссылке, а не копируются между процессами
- zero-copy retrievalполучение данных по указателю без лишнего копирования между узлами
- spread schedulingнастройка планировщика Ray, распределяющая воркеров по разным узлам, а не на один
- supervised fine-tuningдообучение модели на парах «вход-ответ» с учителем
Связки из этого ролика
1 шт.- Qwen3-VL + Megatron + Ray + S3
Компоненты
6 шт.Формат: разбор · для практикующих · уверенность разметки 0.9 · источник