Дистилляция моделей: как сжать ИИ без потери качества

Что в ролике
Большие языковые модели требуют много памяти и вычислений, поэтому дистилляция переносит знания из большой модели-учителя в маленькую модель-ученика, у которой меньше параметров — например, 70 миллиардов против 7 миллиардов. При генерации текста модель работает по одному токену и присваивает вероятности каждому возможному следующему слову, а не просто выбирает одно. Учителя сначала обучают обычным способом на размеченных данных с жёсткими метками, где правильный ответ получает 100%, а все остальные варианты — 0%. Затем ученика тренируют не на жёстких метках, а на мягких метках учителя — например, для фразы «The cat sat on the» учитель даёт 60% слову mat, 20% слову floor и 10% слову chair. Эти мягкие метки содержат «тёмное знание»: ученик узнаёт не только правильный ответ, но и то, что другие варианты могут быть близкими или совсем бессмысленными. В примере с завтраком модель понимает, что cereal и coffee — оба разумные продолжения, а shoe — нет. В результате ученик получается меньше, быстрее и дешевле, но обычно немного уступает учителю, и цель дистилляции — максимально сократить этот разрыв.
Практика
- Что получишь
- Вы поймёте, зачем нужны teacher и student, чем мягкие метки лучше жёстких и почему маленькие модели быстрее и дешевле.
- Первый шаг
- Начните с повторения того, как языковая модель выдаёт распределение вероятностей по токенам, и с определения модели-учителя и модели-ученика.
- Цифры
- —70 млрд против 7 млрд — типичное число параметров большой и маленькой моделей в примере
- —60% / 20% / 10% — вероятности, которые модель-учитель назначила словам mat, floor и chair
- —0,001% — вероятность, которую модель дала бессмысленному слову shoe в примере с завтраком
- Честно
- Видео от канала IBM Technology носит образовательный характер и не рекламирует конкретный продукт, но бренд IBM в названии канала присутствует. Практических инструкций по коду в ролике нет, а все схемы и примеры распределений видны только на экране, поэтому для точного повторения визуализаций нужно смотреть видео.
Если слова незнакомы — 5 терминов
- параметрывнутренние числа модели, которые она настраивает при обучении и которые определяют, как вход превращается в выход
- токенслово или часть слова, на которые модель разбивает текст при обработке
- жёсткие меткиразметка, где только один вариант считается правильным, а все остальные — одинаково неправильными
- мягкие меткираспределение вероятностей от модели-учителя по всем возможным вариантам ответа
- тёмное знаниеинформация о близости и различиях вариантов, которая содержится в мягких метках и не видна в единственном правильном ответе
Формат: разбор · для новичков · уверенность разметки 0.9 · источник