Как найти первое расхождение модели на новом ускорителе

Что в ролике
Перенос модели на новый AI-ускоритель меняет не только железо, но и весь программный стек: компилятор, рантайм и исполнение на устройстве, поэтому численные различия могут появиться на любом уровне. Вместо гадания предлагается сначала локализовать расхождение: прогнать один и тот же вход через проверенный эталон и целевой ускоритель и сохранить промежуточные тензоры на выбранных границах, например после embedding, attention, normalization и logits. Сравнение идёт по границам до первого места, где разница превышает допустимый допуск, и это место называют первым наблюдаемым расхождением. Оно не доказывает, что сломана именно эта операция, но сокращает область поиска до участка между последней совпавшей и первой разошедшейся границей. Для сравнения тензоров проверяют форму, тип данных, максимальную абсолютную разницу, относительную ошибку и косинусное сходство, при этом единого допуска для всех моделей не существует. Дальше подозрительный участок разбирают: сравнивают входы операции, изолируют её, делают минимальный тест и проверяют точность, раскладку и трансляцию компилятором, после чего снова запускают сравнение. Маленький тест, который воспроизводит проблему, сохраняют как регрессионный тест в CI/CD, чтобы ловить похожие сбои после будущих изменений компилятора или рантайма.
Практика
- Что получишь
- Пошаговый метод локализации численных расхождений: от сравнения промежуточных тензоров до минимального теста и регрессионного теста.
- Первый шаг
- Запустить модель с одинаковым входом на проверенном эталоне и целевом ускорителе и сохранить тензоры на выбранных границах слоёв.
- Цифры
- —4 — столько границ (embedding, attention, normalization, logits) в упрощённом примере разбиения модели
- —0,01 — разница между 2,00 эталона и 2,01 ускорителя в примере сравнения тензоров
- Честно
- Конкретные инструменты и численные допуски в ролике не названы, их нужно подбирать под свою модель и точность. Готовых скриптов сравнения не показано; рекламы и платных материалов нет, это вендорский образовательный контент IBM Technology.
Если слова незнакомы — 6 терминов
- тензормногомерный массив чисел, которым модель обменивается между операциями
- допускдопустимая разница между числами, при превышении которой результат считают разошедшимся
- embeddingпреобразование входных элементов в числовые векторы
- logitsсырые числовые оценки модели перед превращением в вероятности
- регрессионный тестпроверка, которая ловит повторное появление уже исправленной ошибки
- CI/CDавтоматический конвейер сборки и проверки кода
Формат: разбор · для продвинутых · уверенность разметки 0.9 · источник