Автономные агенты: от 20% в OSWorld до облачных компьютеров

Что в ролике
Если агент должен сам открывать приложения, кликать по интерфейсам и заполнять формы, одной сильной модели мало: нужны экран, дерево доступности и слой кода, который повторяет действия без сбоев. Автор, CEO Simular, делит проблему на «автономность» и «компьютер» и показывает путь от первого фреймворка agents, который в late 2024 набирал 20% в OSWorld, до библиотеки simulan для детерминированных сценариев. Второе поколение agents полностью отказалось от дерева доступности в пользу визуально-языковой модели, а добавление второго открытого 7B-модели сделало систему сильнее одной модели. К декабрю 2025 исследовательский агент обошёл человеческий уровень в OSWorld, но в новом OSWorld 2 лучшие модели снова падают до 20%, поэтому сырые VLM-агенты остаются вероятностными. Для повторяемых воркфлоу автор предлагает нейросимволический режим: агент сначала пишет simulan-код, при повторе прогоняет его как «плейбук», а при изменении среды переходит в режим VLM и чинит траекторию. В продукте Sight это выглядит как дашборд с опциями humanized control, cloud integration и code replay, поверх которого работает облачный компьютер Sidebox и только что выпущенный API SAPI. Отдельно автор показывает коллаборацию с Microsoft Windows 365 for agents для заполнения форм в старых ERP и демо Android-агентов с 2FA и играми.
Практика
- Что получишь
- Поймете, чем агенты компьютерного использования отличаются от API-агентов и почему для повторяемых задач нужен код, а не только модель. Получите инвайт в закрытую бету Sight и сможете воспроизвести простой сценарий «открыть сайт и собрать события» через Claude Code и simulan.
- Первый шаг
- Поставьте simulan одной командой из npm и в Claude Code дайте задание открыть сайт AI Engineer и кратко пересказать события.
- Цифры
- —20% — доля успешных задач первого поколения agents в бенчмарке OSWorld в конце 2024
- —7 млрд параметров — размер открытой модели, которая добавила надёжности во втором поколении agents
- —$500 — тариф в эксперименте Sight с безлимитными задачами, который спикер упоминает как возможное будущее ценообразования
- —20 машин — столько виртуальных компьютеров автор держит лично в фоне для демонстрации Sidebox
- Честно
- Доклад — презентация продуктов Simular: открытый agents, открытый simulan, закрытая бета Sight и только что выпущенный Sidebox API; спикер прямо предлагает инвайт-код AIEWF2026 и просит писать в Twitter/Discord за кредитами. Большая часть демо видна только на экране: команды Claude Code, код симулана, настройки дашборда и параметры воркфлоу в речи не проговариваются. Повторить демо Android и Microsoft Windows 365 без доступа к их виртуальным машинам не получится.
Если слова незнакомы — 6 терминов
- дерево доступностиструктурное текстовое описание элементов интерфейса, которое ОС отдаёт ассистенту
- VLMвизуально-языковая модель, которая понимает скриншоты и текст одновременно
- нейросимволическийсочетание нейросети и детерминированного кода в одном агенте
- OSWorldбенчмарк, проверяющий, насколько агент справляется с реальными задачами на компьютере
- ERPкорпоративная система учёта, часто старая и без открытого API
- 2FAдвухфакторная аутентификация, обычно код из приложения или SMS
Связки из этого ролика
3 шт.- VLM agent + coding agent
- Simulan + Claude Code
- Windows 365 + Sighbox
Компоненты
8 шт.Формат: разбор · для практикующих · уверенность разметки 0.85 · источник