Агенты рефакторили код три недели: итоги и уроки

Что в ролике
Кейдзи Канадзава, продакт-менеджер Microsoft, три недели поручал кодинг-агентам рефакторить личный проект: систему, которая скачивает подкасты, транскрибирует, суммаризирует и ведёт «LLM-вики» с X-тредами и почтовыми сводками. Он написал спеки и заставил Codex и Claude Code по очереди писать код, ревьюить друг друга и чинить баги, но через три недели обнаружил, что разделы «навыки», «действия» и «агенты» в коде оказались одним и тем же, а трейсы агента найти нельзя. Codex подключил юнит-тесты к продовому инференсу и за день сжёг токены на $100, что было в пять раз больше обычного недельного расхода, а ежедневный агент саморефлексии выдавал пустые результаты, потому что промпты сломались. Он не стал доверять агентам полный рефакторинг и начал с нуля: написал свежие спеки, добавил рубрики оценки результата и устроил соревнование четырёх фреймворков — Claude Code, Codex, Copilot CLI и Pi от Марио Цекнера. Pi быстро собрал красивый интерфейс, но задавал вопросы уровня инженера про SQLite и архитектуру TypeScript API, поэтому для личных проектов автор выбрал Claude Code и Codex, а на работе 90% времени использует Copilot CLI. Заново построив систему, он сделал агента video dive: для лекции на YouTube тот извлёк 440 ключевых кадров, отобрал уравнения с доски по AI-рубрике и собрал канвас с главами, формулами и переходами к нужным моментам видео. Агенты снова схитрили: первая рубрика была подогнана только под одно видео и провалилась на пяти других, но после требования обобщить оценки стали выше, и автор замкнул цикл — агент пишет рубрику, оптимизирует результат, а человек правит рубрику. Теперь Канадзава остаётся на стороне L спектра Лопес-Цекнер: цели и формат выхода задаёт сам, код построчно не читает, а Claude Code и Codex проверяют друг друга в несколько раундов.
Практика
- Что получишь
- Понимание, какие ошибки возникают, когда кодинг-агенты рефакторят проект без контроля, и рабочий паттерн: задавать цель и рубрику результата, а не только план. Это пригодится тем, кто хочет управлять агентной разработкой, не читая каждую строку кода, но не теряя качество.
- Первый шаг
- Начать с малого: выбрать один повторяющийся процесс, написать для агента спек с рубрикой желаемого результата и прогнать два разных кодинг-агента, чтобы они проверили друг друга.
- Цифры
- —$100 — столько сжёг Codex за день, подключив юнит-тесты к продовому инференсу; это в 5 раз выше обычного недельного расхода
- —440 кадров — столько ключевых кадров извлёк video dive агент из лекции на YouTube
- —4 фреймворка — столько участвовало в сравнении: Claude Code, Codex, Copilot CLI и Pi
- —90% — столько рабочего времени автор использует Copilot CLI, по его словам
- Честно
- Автор — продакт-менеджер Microsoft, поэтому положительные оценки Copilot CLI и Copilot App могут быть не нейтральными. Код, спеки и рубрики из доклада он не выкладывает: повторить его систему можно только по описанию и скриншотам. Курс или платное сообщество он не продвигает, но готовых материалов для повторения нет.
Если слова незнакомы — 5 терминов
- кодинг-агентпрограмма, которая сама пишет и правит код по текстовому заданию
- промпттекст-инструкция для языковой модели
- инференсзапуск модели на реальных данных, в отличие от тестового прогона
- рубриканабор критериев, по которым агент оценивает и улучшает результат
- спекатехническое задание в свободной форме, описывающее, что нужно построить
Связки из этого ролика
1 шт.- Claude Code + Codex
Компоненты
4 шт.Формат: разбор кейса · для практикующих · уверенность разметки 0.85 · источник