К содержимому
Дайджест

AI-код уже не хуже человеческого: данные Greptile

AI Engineer·27 сентября 2026·12:41
можно прочитать понять, как устроено промо
Открыть на YouTube
Доклад сооснователя Greptile с разбором данных о качестве пул-реквестов, написанных автономными агентами, для инженеров и тимлидов.

Что в ролике

Тех, кто сомневается, можно ли доверять автономным агентам в серьёзных проектах, заинтересует проверка на данных Greptile. Greptile просматривает больше миллиона pull request в месяц для клиентов вроде Nvidia, Coinbase, Scale, Datadog и American Express. Чтобы отделить сгенерированные PR, он смотрел не только поле автора в GitHub, где меньше 1% совпадает с Codex или Claude, но и подписи «co-authored by» в описаниях и префиксы веток. По этим сигналам около четверти всех PR за месяц оказались полностью или в основном сгенерированы AI, а в начале прошлого года таких было меньше 1%. Качество сравнивали по частоте откатов, числу находок Greptile (P0, P1, P2) и количеству циклов ревью до мержа. Откаты Codex происходят примерно в 1 из 1000 PR, Devin — в 3,5 из 1000, у людей — около 2,5; по находкам P0 три из четырёх агентов обошли людей. Среднее число раундов ревью почти не отличается: у Devin 2,1, у Codex 2,45, у людей примерно 2,5. Различия нашлись в типах ошибок: Claude в полтора раза чаще людей допускает SQL-инъекции, а Devin вдвое реже — проблемы обхода авторизации; Greptile предлагает проверять контракт пользователя, намерение автора и будущие риски через агентов в песочнице.

Практика

Что получишь
Понять, что автономные агенты в 2025 году по качеству PR уже сопоставимы с людьми, и какие метрики стоит считать, чтобы убедиться в этом на своих данных.
Первый шаг
Соберите по своим PR три цифры — частоту откатов, число P0/P1/P2 и количество циклов ревью — и сравните их для людей и агентов.
Цифры
  • —25% — доля PR, полностью или в основном сгенерированных AI, по оценке Greptile
  • —меньше 1% — доля таких PR в начале прошлого года
  • —1 миллион PR в месяц — объём проверок, на котором основано исследование
  • —2,1 у Devin и 2,45 у Codex против 2,5 у людей — среднее число циклов ревью до мержа
Честно
Автор — сооснователь Greptile, поэтому все метрики исследования получены через его инструмент, и в конце он зовёт на бесплатный триал. Часть цифр и подробные графики типов ошибок видны только на слайдах, а выборка состоит из клиентов Greptile, поэтому может быть смещена в сторону компаний, уже пользующихся AI-кодом.
Если слова незнакомы — 4 терминов

Компоненты

7 шт.

Формат: разбор · для практикующих · уверенность разметки 0.9 · источник