Как научить агента доказывать, что работа сделана

Что в ролике
Разработчик, который уже доверяет агентам черновую работу, всё равно тонет в просмотре PR, потому что агенты пишут код быстрее, чем человек успевает его читать. Ник Ниси и Зак Проссер из WorkOS показывают подход «докажи, что сделано»: вместо чтения кода агент должен сам прогнать проверки и предъявить доказательства. В демо они используют учебное приложение Midnight Snack Club и собственный CLI-инструмент snack, который умеет поднимать приложение, делать скриншоты, проверять localStorage, запускать команды prove и judge. В примере форма входа успешно сохраняет email в памяти, но после перезагрузки страницы данные исчезают, и snack это ловит до того, как агент назовёт задачу выполненной. Авторы рассказывают о своих личных наработках CTX и Riker, которые централизуют проверки и отдают агенту команды, а также советуют обернуть типовые проверки в детерминированный CLI вместо расплывчатых промптов. Для оценки соответствия результата ожиданиям они предлагают дешёвые system one модели, например Jev и Cleft от Cloudflare, которые принимают быстрые решения по скриншотам или выводам. Главная мысль: храните «реситы» каждого прогона, превращайте провалы в новые проверки и постепенно наращивайте слой доказательств, чтобы агент сам исправлялся, а вы возвращались только к результату.
Практика
- Что получишь
- Набор конкретных паттернов, как превратить проверку работы агента из чтения кода в запуск команды: поднять приложение, выполнить действия, получить доказательство. После повторения вы сможете собрать похожий CLI или скрипт проверок для своего проекта и сократить ручной просмотр PR.
- Первый шаг
- Склонируйте репозиторий воркшопа (ссылка на экране и в материалах) и запустите pnpm snack doctor, чтобы увидеть, как CLI проверяет окружение и показывает результат.
- Цифры
- —9 секунд — столько, по словам авторов, понадобилось агенту, чтобы удалить production-базы в инциденте, упомянутом в начале
- —900 PR в месяц — такую скорость показывают отдельные разработчики в WorkOS при правильно настроенных проверках
- —5 долларов — бесплатный кредит при регистрации в Jev, которого, по оценке авторов, хватит надолго
- Честно
- Это воркшоп от сотрудников WorkOS, материалы и демо-инструменты выложены в публичный репозиторий, но готового универсального инструмента нет: snack сделан только для демо-приложения, и для своего проекта придётся писать проверки самому. Часть команд и интерфейс видны только на экране, но в репозитории есть пошаговые инструкции. Авторы упоминают личные проекты CTX и Riker, но не продают их; для модели Jev нужен ключ, новым пользователям дают 5 долларов бесплатно.
Если слова незнакомы — 4 терминов
- PRpull request, запрос на слияние изменений в основную ветку кода
- CLIинтерфейс командной строки, через который запускаются команды без графического интерфейса
- localStorageхранилище данных в браузере, сохраняющееся после перезагрузки страницы
- system one модельбыстрая, дешёвая модель для мгновенных решений по типу «соответствует или не соответствует»
Связки из этого ролика
5 шт.- Cloudflare
- TypeScript
- Rust
- Go
- Node.js
Компоненты
15 шт.Формат: пошаговый урок · для практикующих · уверенность разметки 0.9 · источник