Перцепционные агенты: как указать правки и проверить их

Что в ролике
Запись воркшопа Amazon AGI Lab о перцепционных агентах: вместо громоздких текстовых описаний правок вы указываете на элементы страницы в расширении Chrome и экспортируете JSON-файл с промптом для кодинг-агента. Второй примитив — визуальная проверка, которая принимает дизайн-спецификации и пользовательские сценарии в формате Gherkin, прогоняет их по сайту и формирует отчёт. Оба инструмента открыты, работают поверх сервиса Amazon Nova Act, который через естественный язык управляет браузером и может заполнять формы, искать данные и звать человека для подтверждения. В практической части участникам выдают GitHub-репозиторий с задачей исправить лендинг подкаста по обратной связи от коллег, используя расширение, навык проверки и API-ключ Nova Act. Для связки расширения с кодинг-агентом нужно вставить фрагмент кода в файлы манифеста и контент-скрипт, после чего появится кнопка Apply Changes, которая запускает изменения и затем проверку. В конце показали интеграцию с носимым устройством B от Amazon: оно слушает обсуждение дизайна, передаёт транскрипт в перцепционного агента, и тот применяет правки. Участники предложили свои сценарии — от сквозного тестирования до совместной работы над UI в реальном времени, а победители получили устройства B.
Практика
- Что получишь
- Вы научитесь превращать визуальные правки на сайте в задачи для кодинг-агента и автоматически проверять, что изменения соответствуют дизайну и пользовательским сценариям.
- Первый шаг
- Установите Chrome-расширение Nova Act и откройте воркшоп на GitHub, вставив свой API-ключ Nova Act.
- Цифры
- —4–5 недель занимает ручная разработка страницы по макетам, по оценке ведущей
- —3 способа аннотации: рисование, выбор элемента, булавка
- —15 минут отводится на прохождение воркшопа по простому пути
- —5–7 минут занимает первичная настройка окружения
- Честно
- Это воркшоп сотрудников Amazon AGI Lab, которые продвигают собственный сервис Nova Act и носимое устройство B (разыгрывают его как приз). Материалы на GitHub бесплатны, но для повторения нужны macOS или Linux, Node.js, Chrome и кодинг-агент вроде Claude или Kiro. API-ключ Nova Act, показанный на экране, частично скрыт, и для самостоятельной работы понадобится свой.
Если слова незнакомы — 5 терминов
- перцепционные агентыагенты, которые понимают, что видят на экране, а не только кликают по элементам
- кодинг-агентИИ-помощник, который по описанию изменяет код проекта
- Gherkinтекстовый формат для описания сценариев работы приложения в виде шагов
- JSON-файлпростой текстовый формат для обмена структурированными данными
- API-ключсекретный код, который даёт доступ к сервису по программному интерфейсу
Понадобится экран
Часть информации есть только на экране (код в терминале). Открыть на YouTube с 26:33.
Связки из этого ролика
4 шт.- Nova Act + Chrome extension + AI coding agent
- B device + perception agents
- Atlassian MCP + Jira
- Jam MCP + Nova Act
Компоненты
17 шт.Цитаты-доказательства
дословно из субтитровФормат: пошаговый урок · для практикующих · уверенность разметки 0.8 · источник