Почему человек не успевает за AI-кодом: 5 проблем и формула

Что в ролике
Если вы отвечаете за поставку кода, написанного агентами, этот доклад объясняет, почему ревью человеком больше не спасает и что с этим делать. Автор, CEO Sonar Тарик Шокат, проводит параллель с производственной системой Toyota и утверждает, что агенты ломают старые практики: асинхронные агенты увеличивают объём строк кода на 2450% и число коммитов на 240%, а релизы растут только на 30%, поэтому люди физически не успевают всё проверять. Он выделяет пять проблем: человеческий контроль не масштабируется из-за когнитивной капитуляции (люди соглашаются с ИИ в 93% случаев, когда он прав, и в 4 из 5, когда ошибается); агенты плохо работают с большими кодовыми базами (точность 91% на 10 тысячах строк рушится к 50 тысячам, а расход токенов может отличаться в 30 раз); ошибки накапливаются (при 95% точности на шаге после 20 шагов итоговая точность 36%); LLM — ненадёжные судьи (у PayPal 7–17% вердиктов меняются при повторном запуске, у Meta 7–34% при простом вопросе «уверен?»); а время на эксплуатацию уязвимостей стремится к нулю. Для решения он предлагает формулу уверенности в коде: намерение, направляющие, независимая верификация и доказательства, перемноженные между собой — если хотя бы один компонент равен нулю, уверенность нулевая. Sonar реализует это в продуктах Sonar Vortex (направляющие и подсказки агентам) и SonarQube (верификация), и по данным клиентов Vortex снижает стоимость токенов на 36% и число проблем в коммитах на 92%. Опрос более 1000 клиентов показывает, что пользователи SonarQube на 81% чаще видят положительное влияние на безопасность кода, на 34% — на время вывода на рынок и на 76% — на частоту сбоев. Вывод: код стал изобильным, уверенность — дефицитной, и фабрики будущего должны поставлять именно уверенность.
Практика
- Что получишь
- Понимание пяти ограничений агентной разработки и формулу из четырёх компонентов (намерение, направляющие, верификация, доказательства), которую можно применить для оценки своей пайплайн-инфраструктуры.
- Первый шаг
- Начать с инвентаризации, где в вашем процессе уже есть независимая верификация и какие доказательства вы можете предъявить аудиторам, а затем сравнить с моделью из доклада.
- Цифры
- —2450% — рост строк кода при использовании асинхронных агентов в исследовании, которое цитирует автор
- —30% — рост числа релизов при том же исследовании, показывающий разрыв между генерацией и поставкой
- —36% — точность после 20 шагов при 95% точности на каждом отдельном шаге, иллюстрирующая накопление ошибок
- —92% — сокращение проблем в коммитах при использовании Sonar Vortex, по данным клиентов Sonar
- Честно
- Это выступление CEO компании Sonar, и значительная часть доклада — презентация её продуктов SonarQube и Sonar Vortex с результатами опроса клиентов; на конференции у компании большой стенд. Конкретные методики и цифры взяты из собственных исследований и опросов Sonar, но независимых подтверждений в ролике нет.
Если слова незнакомы — 7 терминов
- агентпрограмма, которая самостоятельно пишет код и выполняет задачи
- агентная программная фабрикасистема, где агенты массово генерируют и проверяют код под управлением
- токенединица текста, за которую платят при работе языковой модели; расход токенов определяет стоимость
- коммитсохранение изменений в системе контроля версий
- LLMбольшая языковая модель, лежащая в основе агентов
- верификациянезависимая проверка кода на ошибки, безопасность и качество
- направляющиемягкие подсказки и ограничения, которые удерживают агента на правильном пути, в отличие от жёстких запретов
Компоненты
3 шт.Формат: разбор · для бизнеса · уверенность разметки 0.9 · источник