Torch.compile: как PyTorch ускоряет модели одной строкой

Что в ролике
Вы добавляете одну строку с torch compile к работающей PyTorch-модели, и на первом вызове PyTorch тратит время на компиляцию, а дальше модель может стать быстрее, но не всегда. Три стадии объясняют, что происходит: Dynamo трассирует Python-код и собирает операции в FX-граф, записывая guard-условия о формах тензоров и типах данных, по которым потом решает, переиспользовать ли скомпилированный код. AOT Autograd готовит граф для бэкенда: раскладывает высокоуровневые операции на более низкоуровневые и при обучении захватывает backward-вычисления для градиентов. Inductor, стандартный бэкенд, генерирует код под целевое железо — на GPU обычно Triton-ядра, на CPU — C++, а также умеет вызывать готовые оптимизированные библиотеки для матричных умножений. Ключевая оптимизация — слияние совместимых операций в одно ядро, чтобы не хранить промежуточные данные, но крупные матричные умножения часто остаются отдельными библиотечными вызовами. Места, которые Dynamo не может захватить, приводят к graph break: граф делится на части, неподдерживаемый код выполняется обычным Python, и это снижает возможности слияния, но не обязательно убирает весь выигрыш; кроме того, из-за смены форм или типов входных данных guard-условия перестают совпадать, и PyTorch может перекомпилировать код заново. Поэтому замеры нужно делить на время компиляции и стабильное выполнение, а на GPU — обязательно синхронизировать; если ускорения нет, автор советует проверить четыре вещи: достаточно ли модели захвачено, мешают ли graph break'и, не вызывают ли меняющиеся входы перекомпиляции, и не измеряется ли время компиляции вместо рабочего прогона.
Практика
- Что получишь
- Понимание, как работает torch.compile и почему он ускоряет не каждую модель, а также список из четырёх проверок для диагностики, когда прироста нет.
- Первый шаг
- Добавьте строку model = torch.compile(model) перед первым вызовом модели и отдельно замерьте время на первом и последующих запусках, чтобы отделить компиляцию от рабочего выполнения.
- Цифры
- —1 строка — model = torch.compile(model), чтобы включить компиляцию
- —3 стадии — Dynamo, AOT Autograd и Inductor проходит каждый вызов при компиляции
- —4 вопроса — столько проверок предлагает автор, если ускорения нет: захват, graph break'и, перекомпиляция, измерение
- Честно
- Ролик образовательный от IBM Technology, без прямой рекламы продуктов или сообществ. В речи нет готового кода для настройки dynamic shapes или синхронизации GPU, только словесные рекомендации, поэтому конкретные параметры придётся искать в документации PyTorch.
Если слова незнакомы — 9 терминов
- torch compileфункция PyTorch, которая включает компиляцию модели для ускорения
- Dynamoпервый этап компиляции, трассирует код Python в граф операций
- AOT Autogradэтап подготовки графа и захвата вычислений градиентов до запуска
- Inductorвстроенный компилятор PyTorch, генерирует код под GPU или CPU
- FX-графпромежуточное представление модели в виде операций и связей между ними
- guard-условиязаписанные допущения о формах и типах входных данных, по которым решается переиспользовать ли код
- graph breakразрыв захвата кода, когда Dynamo не может трассировать операцию и возвращает управление Python
- Tritonязык и компилятор для написания высокопроизводительных GPU-ядер
- backwardобратный проход, при котором считаются градиенты для обучения
Компоненты
7 шт.Формат: разбор · для практикующих · уверенность разметки 0.9 · источник