К содержимому
Дайджест

Torch.compile: как PyTorch ускоряет модели одной строкой

IBM Technology·1 ноября 2026·6:53
текст даёт основное понять, как устроено
Открыть на YouTube
Разбор работы torch.compile в PyTorch: для разработчиков, которые хотят понять, когда одна строка кода действительно ускоряет модель.

Что в ролике

Вы добавляете одну строку с torch compile к работающей PyTorch-модели, и на первом вызове PyTorch тратит время на компиляцию, а дальше модель может стать быстрее, но не всегда. Три стадии объясняют, что происходит: Dynamo трассирует Python-код и собирает операции в FX-граф, записывая guard-условия о формах тензоров и типах данных, по которым потом решает, переиспользовать ли скомпилированный код. AOT Autograd готовит граф для бэкенда: раскладывает высокоуровневые операции на более низкоуровневые и при обучении захватывает backward-вычисления для градиентов. Inductor, стандартный бэкенд, генерирует код под целевое железо — на GPU обычно Triton-ядра, на CPU — C++, а также умеет вызывать готовые оптимизированные библиотеки для матричных умножений. Ключевая оптимизация — слияние совместимых операций в одно ядро, чтобы не хранить промежуточные данные, но крупные матричные умножения часто остаются отдельными библиотечными вызовами. Места, которые Dynamo не может захватить, приводят к graph break: граф делится на части, неподдерживаемый код выполняется обычным Python, и это снижает возможности слияния, но не обязательно убирает весь выигрыш; кроме того, из-за смены форм или типов входных данных guard-условия перестают совпадать, и PyTorch может перекомпилировать код заново. Поэтому замеры нужно делить на время компиляции и стабильное выполнение, а на GPU — обязательно синхронизировать; если ускорения нет, автор советует проверить четыре вещи: достаточно ли модели захвачено, мешают ли graph break'и, не вызывают ли меняющиеся входы перекомпиляции, и не измеряется ли время компиляции вместо рабочего прогона.

Практика

Что получишь
Понимание, как работает torch.compile и почему он ускоряет не каждую модель, а также список из четырёх проверок для диагностики, когда прироста нет.
Первый шаг
Добавьте строку model = torch.compile(model) перед первым вызовом модели и отдельно замерьте время на первом и последующих запусках, чтобы отделить компиляцию от рабочего выполнения.
Цифры
  • —1 строка — model = torch.compile(model), чтобы включить компиляцию
  • —3 стадии — Dynamo, AOT Autograd и Inductor проходит каждый вызов при компиляции
  • —4 вопроса — столько проверок предлагает автор, если ускорения нет: захват, graph break'и, перекомпиляция, измерение
Честно
Ролик образовательный от IBM Technology, без прямой рекламы продуктов или сообществ. В речи нет готового кода для настройки dynamic shapes или синхронизации GPU, только словесные рекомендации, поэтому конкретные параметры придётся искать в документации PyTorch.
Если слова незнакомы — 9 терминов

Компоненты

7 шт.

Формат: разбор · для практикующих · уверенность разметки 0.9 · источник