Нужна ли IDE агенту: тест на 220 000 строк кода

Что в ролике
Вы, возможно, пишете код с агентом в терминале, но там он работает вслепую: ищет текст через grep и надеется угадать, а IDE понимает код детерминированно — находит точные вызовы, переименовывает и ловит ошибки типов до запуска. Тех Тим проверил это на Python-проекте и кодовой базе Jellyfin с 220 000 строк C#, сравнивая агента без IDE и с Rider или PyCharm через встроенный MCP-сервер. Оказалось, что подключить MCP недостаточно: агент по привычке несколько раз продолжал использовать grep, пока Тим не включил встроенные скиллы JetBrains, которые объясняют, какие IDE-инструменты вызывать. На маленьком примере с двумя багами прогон тестов занял 74 секунды, а статический анализ через MCP нашёл ошибки за 0,5 секунды. На пяти задачах рефакторинга до 85 замен разницы почти не было, но на самом большом изменении почти с 300 правками агент с инструментами Rider завершил за 63 секунды против 155 секунд без них и потратил примерно вдвое меньше денег. При этом оба подхода давали правильный результат каждый раз — выигрыш IDE в том, что проверенный годами движок рефакторинга не пересобирает знание о коде с нуля, как это делает текстовый поиск. Тим всё же напоминает: ответственность за коммит лежит на разработчике, поэтому IDE нужна как стол для ревью — смотреть diff, запускать тесты и проверять изменения до публикации, особенно когда агент трогает не то место.
Практика
- Что получишь
- Поймёте, когда агенту в терминале хватает grep, а когда стоит включить MCP-сервер и скиллы IDE, чтобы рефакторинг был быстрее и дешевле, и как использовать IDE для проверки кода агента.
- Первый шаг
- Если у вас JetBrains IDE, откройте Settings → Tools → MCP Server, включите нужные инструменты и добавьте скилл рефакторинга (в Rider он встроен), затем дайте агенту задачу на переименование и сравните трассу с обычным запуском.
- Цифры
- —220 000 строк — размер кодовой базы Jellyfin, на которой шёл тест рефакторинга
- —63 секунды против 155 секунд — время выполнения самого большого изменения с инструментами Rider и без них
- —74 секунды против 0,5 секунды — разница между прогоном тестов и статическим анализом двух ошибок через MCP
- —85 замен — после этой отметки IDE начала заметно обгонять терминального агента по скорости
- Честно
- Ролик сделан по просьбе JetBrains: компания попросила автора отреагировать на её статью, но он отмечает, что все замеры проводил сам. Для повторения понадобится JetBrains IDE с MCP-сервером и, для части тестов, Rider и плагин JetBrains Air; конкретные цифры времени и стоимости получены на его машине и проектах, поэтому у вас могут отличаться.
Если слова незнакомы — 5 терминов
- MCP-серверинтерфейс, через который агент обращается к инструментам IDE
- скиллыкороткие инструкции, которые подсказывают агенту, какими инструментами пользоваться
- grepутилита поиска текста в файлах по совпадению слов
- рефакторингпереименование или изменение кода без смены его поведения
- diffпоказ изменений между версиями файла
Связки из этого ролика
3 шт.- Python
- C#
- Jellyfin
Компоненты
9 шт.Формат: разбор кейса · для продвинутых · уверенность разметки 0.85 · источник