К содержимому
Дайджест

Как оценивать AI-системы: 13 измерений и 98% инцидентов

AI Engineer·22 октября 2026·20:02
можно прочитать понять, как устроено
Открыть на YouTube
Доклад на конференции AI Engineer о системной оценке AI-кейсов для инженеров и риск-менеджеров, которые хотят приоритизировать проверки по потенциальному вреду.

Что в ролике

Оценки моделей часто проверяют точность на отложенных данных, но не всю цепочку от ошибки до реального вреда. Авторы разобрали публичную базу AI-инцидентов и предлагают смотреть на сбои через 13 под-измерений в трёх блоках: техническая надёжность, контроль при развёртывании и бизнес-контекст. Эти 13 измерений покрывают почти 98% рассмотренных отказов, причём в среднем в одном инциденте срабатывают шесть под-измерений. По их графику частота поломки не всегда совпадает с вредом: самые частые сбои в дизайне и масштабе, а сильнее всего с вредом связаны человеческое посредничество и обнаружение вреда. Поэтому приоритет надо отдавать контролю на этапе эксплуатации, а не только качеству самой модели. На основе этого докладчики строят системную оценку: разбивают риск на частоту отказа, доходимость до решения, вероятность, что ошибку не заметят, и тяжесть последствий. Дальше они применяют петлю build-break-fix и разбирают кейс авиабронирования, где чат-бот дал неверный совет о возврате в течение 90 дней, а трибунал признал авиакомпанию ответственной. Итог — оценка должна быть риск-ориентированной и охватывать всю систему, а не одну модель.

Практика

Что получишь
Сможете построить приоритизацию AI-кейсов по потенциальному вреду и проверять не только модель, но и всю цепочку от разработки до эксплуатации.
Первый шаг
Возьмите один AI-кейс и прогоните его по 13 измерениям, начав с контроля на этапе развёртывания.
Цифры
  • —98% — доля исследованных AI-отказов, которые покрываются 13 под-измерениями
  • —13 — столько под-измерений в рамке авторов: 6 технических, 4 по контролю развёртывания и 3 по бизнес-воздействию
  • —6 — среднее число под-измерений, одновременно присутствующих в одном AI-инциденте
  • —79% — доля людей, которые ошиблись в эксперименте Питера Уосона с рядом 2, 4, 6
Честно
Рекламы нет, но это доклад с конференции: конкретного кода или чек-листа в открытом доступе не приложено. Все схемы и графики показываются только на экране, а разбор авиакейса — краткий, без полных данных о политике авиакомпании. Для повторения придётся самим адаптировать 13 измерений под свою компанию.
Если слова незнакомы — 2 терминов

Формат: разбор · для практикующих · уверенность разметки 0.9 · источник