К содержимому
Дайджест

Откат ошибок coding-агентов: Undo Bench и Evo Undo

AI Engineer·8 ноября 2026·16:38
можно прочитать понять, как устроено промо
Открыть на YouTube
Научный доклад о том, как научить AI-агентов для кода восстанавливать состояние после собственных ошибок, для разработчиков и ML-инженеров, которые строят автономных агентов.

Что в ролике

Если AI-агент по коду что-то сломал, обычного git revert может не хватить, потому что агент меняет ещё и рантайм-состояние и внешние системы. Авторы доклада представили два исследования: Undo Bench и Evo Undo, которые проверяют не только выполнение задачи, но и способность откатить свои действия. В 2880 парных экспериментах обычный запуск дал 84% успеха, но при внесённых сбоях восстановились только 47% случаев, а повторные попытки создавали дубликаты в 54% таких сценариев. На 600 задачах разработки 478 мутаций улучшили способности агента, но 197 из них, около 42%, ломали восстановление. Простые исправления через промпт не починили ни одного из 197 дефектов, потому что мешали неточная информация об исходном состоянии и слишком бедный язык отката. Когда дали точное описание состояния, восстановление выросло с 0 до 38 из 48, а более богатые операции отката — с 0 до 142 из 143. С расширенным языком восстановления удалось вернуть 180 из 197 мутаций, то есть 92%, и доля принятых улучшений выросла с 281 до 461 из 600 задач. Evo Undo снимает снимок состояния до мутации, применяет мутацию с планом восстановления в тестовой среде и принимает изменение только после независимой проверки, что исходное состояние восстановлено.

Практика

Что получишь
Поймёте, почему git revert недостаточно для агентов, и увидите рабочий процесс Evo Undo, который можно использовать как чек-лист при разработке восстановления.
Первый шаг
Открыть GitHub-репозиторий Evo Undo по QR-коду с экрана и посмотреть, как устроены снятие состояния и независимая проверка восстановления.
Цифры
  • —84% — обычный успех выполнения задач, при сбоях восстановились только 47% из 2880 парных экспериментов
  • —54% — доля сценариев с дублирующими эффектами от наивных повторных попыток
  • —197 из 600 задач — мутации с дефектами восстановления, это около 42%
  • —180 из 197 — сколько дефектных мутаций удалось восстановить после расширения языка отката, это 92%
Честно
Автор не продвигает платный продукт, но исходный код и детали доступны только в GitHub-репозитории, на который ведёт QR-код. Пошаговых команд в ролике нет, поэтому для повторения придётся открыть репозиторий.
Если слова незнакомы — 4 терминов

Компоненты

3 шт.

Формат: разбор · для продвинутых · уверенность разметки 0.85 · источник