К содержимому
Дайджест

Дистилляция моделей: как сжать ИИ без потери качества

IBM Technology·10 ноября 2026·13:33
можно прочитать понять, как устроено
Открыть на YouTube
Объяснение принципа дистилляции моделей для тех, кто хочет понять, как большие ИИ-модели сжимаются до размеров, пригодных для телефона или ноутбука.

Что в ролике

Большие языковые модели требуют много памяти и вычислений, поэтому дистилляция переносит знания из большой модели-учителя в маленькую модель-ученика, у которой меньше параметров — например, 70 миллиардов против 7 миллиардов. При генерации текста модель работает по одному токену и присваивает вероятности каждому возможному следующему слову, а не просто выбирает одно. Учителя сначала обучают обычным способом на размеченных данных с жёсткими метками, где правильный ответ получает 100%, а все остальные варианты — 0%. Затем ученика тренируют не на жёстких метках, а на мягких метках учителя — например, для фразы «The cat sat on the» учитель даёт 60% слову mat, 20% слову floor и 10% слову chair. Эти мягкие метки содержат «тёмное знание»: ученик узнаёт не только правильный ответ, но и то, что другие варианты могут быть близкими или совсем бессмысленными. В примере с завтраком модель понимает, что cereal и coffee — оба разумные продолжения, а shoe — нет. В результате ученик получается меньше, быстрее и дешевле, но обычно немного уступает учителю, и цель дистилляции — максимально сократить этот разрыв.

Практика

Что получишь
Вы поймёте, зачем нужны teacher и student, чем мягкие метки лучше жёстких и почему маленькие модели быстрее и дешевле.
Первый шаг
Начните с повторения того, как языковая модель выдаёт распределение вероятностей по токенам, и с определения модели-учителя и модели-ученика.
Цифры
  • —70 млрд против 7 млрд — типичное число параметров большой и маленькой моделей в примере
  • —60% / 20% / 10% — вероятности, которые модель-учитель назначила словам mat, floor и chair
  • —0,001% — вероятность, которую модель дала бессмысленному слову shoe в примере с завтраком
Честно
Видео от канала IBM Technology носит образовательный характер и не рекламирует конкретный продукт, но бренд IBM в названии канала присутствует. Практических инструкций по коду в ролике нет, а все схемы и примеры распределений видны только на экране, поэтому для точного повторения визуализаций нужно смотреть видео.
Если слова незнакомы — 5 терминов

Формат: разбор · для новичков · уверенность разметки 0.9 · источник