Бенчмарк личных агентов: победил Grokbot

Что в ролике
Автор устал от множества личных агентов и собрал первый бенчмарк How I AI: четыре агента выполняли девять задач, от ответа в Slack до монтажа видео и починки бага. Чтобы условия были равными, он попросил каждого агента дать свой топ-10 задач, выбрал пересечения и проверил через Codex и browser use, что у агентов подключены одни и те же сервисы, хотя Muse остался без Slack и GitHub. Задачи запускались короткими промптами от имени автора, а в роли операторов выступали Claude computer use для Dot и Codex для Grokbot, Muse и Claude Duet, после чего Claude считал итоговые баллы. Первым стал Grokbot с 93% и победами в создании обложки, списка дел из почты и поиске обуви. Dot и Claude Duet оказались сильнее всего в коде: Dot ближе всех подошёл к исправлению бага, а Claude нашёл второй баг и не стал выкатывать лишний код; Claude также сделал лучший продуктовый ролик с озвучкой через 11 Labs MCP. Muse выиграл личные творческие задачи — короткие видео, семейную газету и мгновенное объяснение домашки, а Grokbot лучше всех справился с Figma и форматом документов. Итог: рабочие задачи стоит отдавать Grokbot, личные — Muse, а для кодинга по-прежнему нужны Codex и Claude, но не обязательно в обёртке личных агентов.
Практика
- Что получишь
- Готовый список сильных сторон четырёх агентов по девяти задачам: кому отдать монтаж, код, покупки, семейную газету. Плюс набор правил, чтобы повторить такое же сравнение на своих агентах.
- Первый шаг
- Собрать у своих агентов топ-10 задач, выбрать пересечения и прогнать один и тот же короткий промпт по очереди.
- Цифры
- —4 агента и 9 задач — объём первого бенчмарка How I AI
- —93% — итоговый результат Grokbot, занявшего первое место
- —4 из 9 задач — Muse был самым быстрым, даже при том что его приходилось направлять
- —7 из 9 задач — Muse и Claude Duet смогли выполнить только семь из-за отсутствия доступов
- Честно
- Ролик содержит две рекламные вставки — WorkOS и Firecrawl, это спонсоры. Результаты — личные оценки автора, а не слепой тест: итоговые проценты считал Claude, который не был независим от процесса. Muse и Claude Duet не имели доступа к Slack или GitHub, поэтому не выполнили часть задач, а сами промпты и экранные шаги показаны не полностью.
Если слова незнакомы — 4 терминов
- промпткороткое текстовое задание, которое ты отправляешь агенту
- бенчмарксерия одинаковых задач, по которой сравнивают нескольких агентов
- MCPспособ подключить внешние сервисы, например 11 Labs, к агенту
- агентпрограмма, которая сама выполняет задачи по твоим инструкциям
Связки из этого ролика
3 шт.- Codex + Browser Use
- Grokbot + Figma MCP
- Claude Duet + 11 Labs MCP
Компоненты
16 шт.Формат: разбор кейса · для практикующих · уверенность разметки 0.85 · источник