Vercel agent-desktop: агент управляет приложениями ПК

Что в ролике
Инструмент agent-desktop от Vercel даёт агенту готовый набор команд для управления десктопными приложениями на macOS, Windows и Linux: он читает интерфейс через accessibility tree, находит кнопки и поля, кликает, вводит текст и считывает результат. Автор устанавливает CLI одной командой и проверяет его на калькуляторе, терминале и Premiere Pro с моделью GPT 6.1 Soul Fast в OpenCode. В калькуляторе агент по запросу умножает число, делит на 6, а затем добавляет 75 в фоне, пока автор работает с другими окнами. В терминале он сам открывает приложение, вводит echo hello world и нажимает Enter, используя опцию headed для клавиатуры. В Premiere Pro агент добавляет белый текст «hello from AI» по центру видео на первые 3 секунды, хотя процесс занимает заметное время и иногда перехватывает курсор. Инструмент можно запускать внутри виртуальной машины, чтобы агент не трогал личные файлы, или встраивать в собственное приложение для программного управления другими программами. Похожие решения — Open Interpreter, Tars, Kua и Omni Parser, но agent-desktop добавляет платформонезависимый слой и параллельную работу нескольких агентов.
Практика
- Что получишь
- Возможность поручить агенту рутинные действия в любых десктопных приложениях или встроить agent-desktop в свою программу для автотестов и управления интерфейсом.
- Первый шаг
- Установите пакет через npm одной командой, выдайте права accessibility и screen recording, затем попросите агента выполнить простую задачу в калькуляторе.
- Цифры
- —75 — число, которое агент добавил в фоне к результату в калькуляторе, пока автор работал с другими окнами
- —3 секунды — длительность текста «hello from AI», которую агент выставил в Premiere Pro
- —70 мс — заявленная Agora максимальная задержка их сети из спонсорского блока
- Честно
- Ролик спонсируется Agora, и автор открыто рекламирует их голосовой AI-движок в середине; ссылка на 300 бесплатных минут в описании. Все демонстрации показывают экранные действия агента — команды, клики и настройки видны только на видео, в пересказе их не воспроизвести без просмотра. Сам agent-desktop бесплатный и открытый, но для Premiere Pro нужна лицензия Adobe, а поведение агента нестабильно: он может перехватывать курсор и требует ручного вмешательства.
Если слова незнакомы — 3 терминов
- accessibility treeслужебное описание интерфейса приложения, по которому агент находит кнопки и поля
- CLIинструмент командной строки, запускаемый из терминала
- headedрежим с видимым окном, при котором агент может использовать мышь и клавиатуру
Связки из этого ролика
2 шт.- OS accessibility tree
- Apple Virtualization Framework
Компоненты
13 шт.Формат: пошаговый урок · для практикующих · уверенность разметки 0.85 · источник