Как оценивать AI-системы: 13 измерений и 98% инцидентов

Что в ролике
Оценки моделей часто проверяют точность на отложенных данных, но не всю цепочку от ошибки до реального вреда. Авторы разобрали публичную базу AI-инцидентов и предлагают смотреть на сбои через 13 под-измерений в трёх блоках: техническая надёжность, контроль при развёртывании и бизнес-контекст. Эти 13 измерений покрывают почти 98% рассмотренных отказов, причём в среднем в одном инциденте срабатывают шесть под-измерений. По их графику частота поломки не всегда совпадает с вредом: самые частые сбои в дизайне и масштабе, а сильнее всего с вредом связаны человеческое посредничество и обнаружение вреда. Поэтому приоритет надо отдавать контролю на этапе эксплуатации, а не только качеству самой модели. На основе этого докладчики строят системную оценку: разбивают риск на частоту отказа, доходимость до решения, вероятность, что ошибку не заметят, и тяжесть последствий. Дальше они применяют петлю build-break-fix и разбирают кейс авиабронирования, где чат-бот дал неверный совет о возврате в течение 90 дней, а трибунал признал авиакомпанию ответственной. Итог — оценка должна быть риск-ориентированной и охватывать всю систему, а не одну модель.
Практика
- Что получишь
- Сможете построить приоритизацию AI-кейсов по потенциальному вреду и проверять не только модель, но и всю цепочку от разработки до эксплуатации.
- Первый шаг
- Возьмите один AI-кейс и прогоните его по 13 измерениям, начав с контроля на этапе развёртывания.
- Цифры
- —98% — доля исследованных AI-отказов, которые покрываются 13 под-измерениями
- —13 — столько под-измерений в рамке авторов: 6 технических, 4 по контролю развёртывания и 3 по бизнес-воздействию
- —6 — среднее число под-измерений, одновременно присутствующих в одном AI-инциденте
- —79% — доля людей, которые ошиблись в эксперименте Питера Уосона с рядом 2, 4, 6
- Честно
- Рекламы нет, но это доклад с конференции: конкретного кода или чек-листа в открытом доступе не приложено. Все схемы и графики показываются только на экране, а разбор авиакейса — краткий, без полных данных о политике авиакомпании. Для повторения придётся самим адаптировать 13 измерений под свою компанию.
Если слова незнакомы — 2 терминов
- build-break-fixцикл: собираешь систему, намеренно ищешь, где она ломается, чинишь и повторяешь
- человеческое посредничествоучастие человека в проверке или остановке решения AI
Формат: разбор · для практикующих · уверенность разметки 0.9 · источник