AI-код уже не хуже человеческого: данные Greptile

Что в ролике
Тех, кто сомневается, можно ли доверять автономным агентам в серьёзных проектах, заинтересует проверка на данных Greptile. Greptile просматривает больше миллиона pull request в месяц для клиентов вроде Nvidia, Coinbase, Scale, Datadog и American Express. Чтобы отделить сгенерированные PR, он смотрел не только поле автора в GitHub, где меньше 1% совпадает с Codex или Claude, но и подписи «co-authored by» в описаниях и префиксы веток. По этим сигналам около четверти всех PR за месяц оказались полностью или в основном сгенерированы AI, а в начале прошлого года таких было меньше 1%. Качество сравнивали по частоте откатов, числу находок Greptile (P0, P1, P2) и количеству циклов ревью до мержа. Откаты Codex происходят примерно в 1 из 1000 PR, Devin — в 3,5 из 1000, у людей — около 2,5; по находкам P0 три из четырёх агентов обошли людей. Среднее число раундов ревью почти не отличается: у Devin 2,1, у Codex 2,45, у людей примерно 2,5. Различия нашлись в типах ошибок: Claude в полтора раза чаще людей допускает SQL-инъекции, а Devin вдвое реже — проблемы обхода авторизации; Greptile предлагает проверять контракт пользователя, намерение автора и будущие риски через агентов в песочнице.
Практика
- Что получишь
- Понять, что автономные агенты в 2025 году по качеству PR уже сопоставимы с людьми, и какие метрики стоит считать, чтобы убедиться в этом на своих данных.
- Первый шаг
- Соберите по своим PR три цифры — частоту откатов, число P0/P1/P2 и количество циклов ревью — и сравните их для людей и агентов.
- Цифры
- —25% — доля PR, полностью или в основном сгенерированных AI, по оценке Greptile
- —меньше 1% — доля таких PR в начале прошлого года
- —1 миллион PR в месяц — объём проверок, на котором основано исследование
- —2,1 у Devin и 2,45 у Codex против 2,5 у людей — среднее число циклов ревью до мержа
- Честно
- Автор — сооснователь Greptile, поэтому все метрики исследования получены через его инструмент, и в конце он зовёт на бесплатный триал. Часть цифр и подробные графики типов ошибок видны только на слайдах, а выборка состоит из клиентов Greptile, поэтому может быть смещена в сторону компаний, уже пользующихся AI-кодом.
Если слова незнакомы — 4 терминов
- PRпредложение внести изменения в код, которое проходит ревью перед слиянием
- P0/P1/P2уровни критичности проблем, которые находит ревью: P0 — самый серьёзный
- песочницаизолированная среда для запуска кода без риска для рабочей системы
- автономный агентпрограмма, которая по задаче сама пишет код и создаёт PR
Компоненты
7 шт.Формат: разбор · для практикующих · уверенность разметки 0.9 · источник