К содержимому
Дайджест

Jev: почему решение с 97% уверенностью ещё не доказательство

IBM Technology·20 октября 2026·13:13
можно прочитать мнение
Открыть на YouTube
Разбор проблемы доверия к новой технологии Jev, которая выдаёт решения вместо текста, для специалистов по безопасности и автоматизации.

Что в ролике

Специалисты по безопасности привыкли проверять, прежде чем доверять, но новая технология Jev выдаёт только решение и процент уверенности, не объясняя причин. В отличие от LLM, которые генерируют текст, который можно оспорить и проверить по цепочке доказательств, Jev сразу даёт структурированный ответ вроде «изолировать хост — 97%». Такая форма удобна для автоматизации, но уверенность модели — это не доказательство: 97% означают лишь, что модель считает ответ правильным на основе увиденного. Входные данные и сама модель могут быть скомпрометированы: атакующий может подменить логи, отравить обучающие данные или исказить метаданные, после чего Jev уверенно выдаст ошибочное решение. Для безопасной эксплуатации компания Type Safe советует разбивать один большой вопрос на цепочку мелких, чтобы каждое промежуточное решение было видно и проверяемо, а не скрывалось в чёрном ящике. Даже в этом случае независимо проверить сам «интеллект», породивший решение, невозможно — есть только предсказание, а не доказательство, и атакующий может постепенно смещать поведение, например на 1% чаще одобряя вредные транзакции. Поэтому автор предлагает относиться к Jev как к ненадёжному компоненту: валидировать входы, использовать независимые сигналы, аудировать логи, отслеживать дрейф, держать человека в цикле для высокорисковых решений и не позволять Jev быть единственным источником знания о том, что произошло.

Практика

Что получишь
Понимание, почему процент уверенности Jev не гарантирует правильность решения и какие меры контроля нужно добавить, чтобы безопасно встроить такие модели в автоматизацию.
Первый шаг
При внедрении Jev разбить ключевое решение на несколько маленьких проверяемых вопросов и логировать ответы с вероятностями на каждом шаге.
Цифры
  • —97% — уровень уверенности, который Jev выдал в примере с рекомендацией изолировать хост
  • —1% — на столько атакующий может незаметно повысить вероятность одобрения вредных транзакций, чтобы сместить поведение модели
Честно
Автор не продвигает продукт или курс: это образовательный ролик с канала IBM Technology, но он отсылает к видео Мартина на том же канале для введения в Jev. Конкретного кода или готовой реализации здесь нет — риски и рекомендации даны на уровне концепций, а пример с 97% уверенностью иллюстративный, а не реальный замер. Диаграммы на экране поясняют мысль, но все ключевые идеи озвучены, поэтому для практического внедрения потребуется дополнительная документация.
Если слова незнакомы — 3 терминов

Компоненты

1 шт.

Формат: мнение · для практикующих · уверенность разметки 0.9 · источник