К содержимому
Дайджест

Как поднять утилизацию GPU с 15% до 90% без изменения модели

AI Engineer·10 октября 2026·17:02
текст даёт основное понять, как устроено
Открыть на YouTube
Доклад о том, как ускорить обучение мультимодальных моделей за счёт оптимизации конвейера подачи данных, а не самих GPU.

Что в ролике

Если вы дообучаете мультимодальную модель, например на базе Qwen 3VL, узким местом часто оказывается не GPU, а подача данных — автор показывает это на конвейере для supervised fine-tuning. Базовая схема последовательно грузит изображения из S3, декодирует, ресайзит и токенизирует тексты, из-за чего GPU заняты лишь 15% времени, а 85% уходит на ожидание данных. Параллельная обработка через async IO и Ray actors ускоряет подготовку одного батча в 2,5 раза, но остаётся простой в ожидании запроса от тренера. Следующий шаг — фоновый поток с очередью, который готовит данные заранее, поэтому fetch и transform почти обнуляются. Чтобы убрать лишние копии многомегабайтных тензоров между процессами, автор переводит передачу на Ray object store с указателями вместо самих массивов — это снижает долю ожидания до 20%. При масштабировании в четыре раза по data parallel рангам и батч-сайзу упирается сетевой интерфейс узла, потому что Ray по умолчанию селит воркеров рядом; помогают флаги spread scheduling и zero-copy retrieval, которые вместе дают ещё 50% пропускной способности. Итог — GPU утилизируются до 90%, а главный вывод: бороться надо не с моделью, а с конвейером данных.

Практика

Что получишь
Практическую схему ускорения обучения мультимодальных моделей: как параллелить загрузку и обработку данных, настроить предзагрузку и убрать лишние копии, подняв утилизацию GPU без изменения самой модели.
Первый шаг
Снять профилировщиком baseline своего пайплайна и посчитать wait time ratio (долю времени ожидания данных), чтобы понять, CPU-bound или GPU-bound ваша задача.
Цифры
  • —15% — начальная утилизация GPU в базовом пайплайне
  • —90% — итоговая утилизация GPU после всех оптимизаций
  • —85% — доля времени, уходившая на ожидание данных до оптимизаций
  • —50% — дополнительный прирост пропускной способности от двух флагов при масштабировании
Честно
Это запись технического доклада без продвижения продукта. Точные параметры конфигурации, код и графики профилирования показаны на слайдах, в транскрипте остались только названия флагов и общая логика, поэтому для повторения придётся досматривать слайды.
Если слова незнакомы — 7 терминов

Связки из этого ролика

1 шт.

Компоненты

6 шт.

Формат: разбор · для практикующих · уверенность разметки 0.9 · источник