Армия Claude Sonnet 5.5 против Fable 5.2: три теста

Что в ролике
Чтобы понять, стоит ли платить за дорогую модель, автор сравнивает одиночный Fable 5-2 и связку Fable 5-2 с армией субагентов Claude Sonnet 5-5, где Fable выступает оркестратором через навык slash delegate. В первой задаче — сборке клона Super Smash Bros с физикой и нокаутами — команда с субагентами сэкономила 25% бюджета и завершила работу на 14 минут быстрее, при этом графика у неё вышла чище. Во второй задаче — короткометражном фильме в японском стиле, где каждый кадр рисуется кодом JavaScript, — одиночный Fable 5-2 забрал все четыре очка: два за качество, по одному за скорость и стоимость. Анимация команды получилась неплохой, но голос закадрового рассказчика сильно тормозил, что испортило впечатление. В финальной задаче — проверке кода приложения Aces Code на баги — первый проход команды стоил $33 против $276 у одиночной модели, занял 21 минуту против 55 и потратил 51 млн токенов против 500 млн, но нашёл только 33 бага с одной галлюцинацией. После второго прохода команда за дополнительные $17 довела отчёт до 90 багов, из которых Opus 5-5 подтвердил 82, что дало итоговую экономию 82% при почти том же результате. По сумме очков победила команда с субагентами — 8 против 5 у одиночного Fable 5-2.
Практика
- Что получишь
- Понимание, в каких задачах армия дешёвых субагентов выигрывает у одиночной дорогой модели, а в каких проигрывает, с конкретными цифрами экономии на игре и проверке кода.
- Первый шаг
- Скачать или воссоздать навык slash delegate по транскрипту, подключить его к своей модели и прогнать на небольшой повторяемой задаче, сравнив стоимость и качество.
- Цифры
- —$33 против $276 — стоимость первого прохода проверки кода командой и одиночным Fable 5.2
- —88% — экономия команды на первом проходе проверки кода
- —82 подтверждённых бага из 90 — результат команды после второго прохода; одиночный Fable нашёл 90 без галлюцинаций
- —25% — экономия на сборке клона Super Smash Bros командой
- Честно
- Автор рекламирует свой навык slash delegate, который лежит в его сообществе, и несколько раз просит подписаться на канал. Готовый навык без сообщества придётся собирать самому по транскрипту, а промпты тестов видны только на экране. Результаты получены на его задачах и приложении Aces Code, поэтому экономию не стоит переносить на другие проекты без проверки.
Если слова незнакомы — 4 терминов
- субагентотдельная модель-исполнитель, которой управляет главная модель
- оркестраторглавная модель, которая планирует и раздаёт задачи субагентам
- токенединица текста, за которую платят при обращении к модели
- галлюцинациявыдуманный моделью факт, которого нет в реальных данных
Понадобится экран
Часть информации есть только на экране (настройки). Открыть на YouTube с 0:53.
Связки из этого ролика
1 шт.- Fable 5.2 orchestrator + Sonnet 5.5 subagents
Компоненты
5 шт.Цитаты-доказательства
дословно из субтитровФормат: разбор кейса · для продвинутых · уверенность разметки 0.85 · источник