К содержимому
Дайджест

Vercel agent-desktop: агент управляет приложениями ПК

ByteGrad·6 ноября 2026·14:56
текст даёт основное можно повторить пошагово
Открыть на YouTube
Обзор open-source инструмента Vercel agent-desktop для разработчиков, которые хотят, чтобы AI-агенты сами работали с десктопными приложениями.

Что в ролике

Инструмент agent-desktop от Vercel даёт агенту готовый набор команд для управления десктопными приложениями на macOS, Windows и Linux: он читает интерфейс через accessibility tree, находит кнопки и поля, кликает, вводит текст и считывает результат. Автор устанавливает CLI одной командой и проверяет его на калькуляторе, терминале и Premiere Pro с моделью GPT 6.1 Soul Fast в OpenCode. В калькуляторе агент по запросу умножает число, делит на 6, а затем добавляет 75 в фоне, пока автор работает с другими окнами. В терминале он сам открывает приложение, вводит echo hello world и нажимает Enter, используя опцию headed для клавиатуры. В Premiere Pro агент добавляет белый текст «hello from AI» по центру видео на первые 3 секунды, хотя процесс занимает заметное время и иногда перехватывает курсор. Инструмент можно запускать внутри виртуальной машины, чтобы агент не трогал личные файлы, или встраивать в собственное приложение для программного управления другими программами. Похожие решения — Open Interpreter, Tars, Kua и Omni Parser, но agent-desktop добавляет платформонезависимый слой и параллельную работу нескольких агентов.

Практика

Что получишь
Возможность поручить агенту рутинные действия в любых десктопных приложениях или встроить agent-desktop в свою программу для автотестов и управления интерфейсом.
Первый шаг
Установите пакет через npm одной командой, выдайте права accessibility и screen recording, затем попросите агента выполнить простую задачу в калькуляторе.
Цифры
  • —75 — число, которое агент добавил в фоне к результату в калькуляторе, пока автор работал с другими окнами
  • —3 секунды — длительность текста «hello from AI», которую агент выставил в Premiere Pro
  • —70 мс — заявленная Agora максимальная задержка их сети из спонсорского блока
Честно
Ролик спонсируется Agora, и автор открыто рекламирует их голосовой AI-движок в середине; ссылка на 300 бесплатных минут в описании. Все демонстрации показывают экранные действия агента — команды, клики и настройки видны только на видео, в пересказе их не воспроизвести без просмотра. Сам agent-desktop бесплатный и открытый, но для Premiere Pro нужна лицензия Adobe, а поведение агента нестабильно: он может перехватывать курсор и требует ручного вмешательства.
Если слова незнакомы — 3 терминов

Связки из этого ролика

2 шт.

Компоненты

13 шт.

Формат: пошаговый урок · для практикующих · уверенность разметки 0.85 · источник