К содержимому
Дайджест

Человек в контуре — это ещё не управление ИИ

IBM Technology·11 октября 2026·4:03
можно прочитать мнение
Открыть на YouTube
Короткое размышление для руководителей и специалистов по управлению ИИ о том, почему проверка человеком не делает агентную систему управляемой.

Что в ролике

Когда на совещании по agentic AI кто-то говорит «у нас есть человек в контуре», это звучит как достаточная защита, но автор показывает, что проверка человеком — не то же самое, что управление системой. Доверие к человеку строится на пяти свойствах: credibility, reliability, dependability, self-orientation и integrity. Эти свойства переносятся на ИИ так: credibility требует прозрачности данных и методологии, reliability — объяснимости результата, dependability — наблюдаемости системы, self-orientation — понимания, под что и для кого оптимизирован алгоритм, integrity — устойчивости к атакам и подделкам. Отдельно автор подчёркивает, что человек в контуре даёт то, чего нет у модели: умение читать обстоятельства, различать сухое дело и реальную жизнь человека и спрашивать, что решение значит для конкретного человека. При этом социальных работников, этиков, историков и консультантов десятилетиями считали недостаточно техническими для технологических решений, хотя системы влияют на жизнь миллионов. Поэтому фраза «human in the loop» ничего не гарантирует, пока у этого человека нет видимости причин, полномочий остановить процесс и правильных петель обратной связи. Настоящее управление начинается, когда человек может видеть рассуждение системы, остановить её и привнести то, что модель не воспроизводит.

Практика

Что получишь
Понятный разбор, почему проверка человеком не заменяет управление, и список из пяти свойств доверия, которые можно использовать как чек-лист для аудита ИИ-системы.
Первый шаг
Проверить, есть ли у человека, который утверждает решения, видимость причин, полномочия остановить процесс и петли обратной связи, а не только факт просмотра результата.
Цифры
  • —5 — столько свойств доверия к человеку автор выделяет и переносит на ИИ: credibility, reliability, dependability, self-orientation, integrity
  • —5 — столько соответствий дано между этими свойствами и параметрами системы: прозрачность, объяснимость, наблюдаемость, оптимизация алгоритма, устойчивость к атакам
  • —4 — столько условий реального человеческого контроля названо в конце: видимость, полномочия, правильные петли обратной связи и не просто «тёплые тела»
Честно
Ролик не продвигает конкретный продукт или курс; это концептуальный аргумент на канале IBM Technology. Практических инструкций или интерфейсов в нём нет — только критерии, которые придётся применять самостоятельно.
Если слова незнакомы — 2 терминов

Формат: мнение · для бизнеса · уверенность разметки 0.9 · источник