Модель не главное: данные Jellyfish о продуктивности

Что в ролике
Если команда не получает ожидаемых результатов от AI, дело, по данным Jellyfish, редко в модели — Николас Арколано на AI Engineer разбирает, какие факторы реально двигают продуктивность разработчиков. На естественном эксперименте, когда Cursor резко продвинул Grok в интерфейсе, переход инженеров на Grok не дал статистически значимого изменения в количестве слитых PR на инженера. В выборке из 50 000 инженеров и 447 компаний статистическая модель разложила вклад факторов: инструмент объясняет меньше 1% изменений, навыки использования около 3%, объём потребления токенов 9%, место работы 12%, а сам инженер — около 75%. Навыки дают заметный эффект: при 30+ запусках скиллов в неделю продуктивность вырастает на 30%, но почти половина недель у инженеров проходит вообще без скиллов, и только 12% используют их на высоком уровне. Больше токенов — больше результат: переход от медианы к топ-10% по потреблению удваивает выпуск, но стоит в 10 раз больше токенов, с затухающей отдачей. Компания и команда тоже решают: даже при одинаковом расходе токенов разброс между верхними и нижними 10% компаний составляет 2 раза, а между инженерами — 3,5 раза. Отдельное исследование ранжирования 10 000 инженеров показало, что до AI из топ-квартиля каждые полгода выбывало 44%, после AI — 41%, то есть сильные инженеры остаются сильными, и AI не пересортировывает рейтинг. Поэтому руководителям стоит вкладываться в людей и организацию, а не ждать следующей модели — такие данные Jellyfish публикует в ежемесячных бенчмарках.
Практика
- Что получишь
- Понимание, на какие рычаги в команде влиять в первую очередь: навыки, активность и среда, а не выбор модели; и ориентиры, сколько это даёт в цифрах.
- Первый шаг
- Посмотреть, использует ли ваша команда скиллы в AI-инструментах хотя бы на среднем уровне, и начать с внедрения повторяемых инструкций для типовых задач.
- Цифры
- —50 000 инженеров и 447 компаний — выборка для статистического анализа
- —30% — прирост PR-пропускной способности при 30+ использований скиллов в неделю
- —10 раз — во столько больше токенов нужно, чтобы перейти от медианного расхода к топ-10% и удвоить результат
- —44% и 41% — доля инженеров, покидающих топ-квартиль за полгода до AI и после, то есть пересортировка почти не изменилась
- Честно
- Доклад продвигает исследования и бенчмарки Jellyfish, компании автора; конкретных инструкций по внедрению скиллов в ролике нет. Главный показатель — слитые PR, а качество кода не оценивалось, о чём автор сказал прямо. Для повторения анализа нужны внутренние данные Jellyfish, в открытом доступе только выжимки.
Если слова незнакомы — 5 терминов
- PRзапрос на слияние изменений в кодовую базу, принятый командой
- скиллыготовые инструкции или наборы правил, которые направляют AI-инструмент при выполнении задач
- токеныединицы текста, за которые платят при использовании AI-моделей
- медианасередина упорядоченного списка значений, половина ниже, половина выше
- бенчмаркирегулярные сравнительные замеры показателей
Компоненты
4 шт.Формат: разбор · для практикующих · уверенность разметки 0.9 · источник