Как команда AI-агентов решает код на 70% дешевле соло-агента

Что в ролике
Если усилить агента, давая ему больше шагов или запуская несколько попыток, контекст переполняется, а каждая попытка всё равно делает всю задачу целиком. Автор предлагает иерархию: лид раздаёт подзадачи рабочим, каждый работает со свежим контекстом и возвращает компактный результат. На бенчмарке Program Bench команда обгоняет соло-агента примерно на 10 баллов, но стоит в 4–7 раз дороже. После перебора вариантов выяснилось, что дополнительные агенты окупаются на этапе планирования: планировщики дают ту же награду, что и тяжёлый промпт PIV, но вдвое дешевле, а каждый доллар на планирование покупает в 1,6 раза больше награды, чем на имплементацию или верификацию. Дальше можно взять сильного лида Sol и дешёвых планировщиков Luna: качество почти не падает, стоимость снижается на 60%, а при 16 планировщиках команда уже на 38% дешевле полностью сильной планирующей команды и на 70% дешевле варианта с агентами на всех этапах. Прямые переговоры между рабочими почти не работают: 84% сообщений идут лиду, больше сообщений не дают прироста, у слабых Luna теряются 4–7 баллов. На других бенчмарках, например CommitZero, узкое место не планирование, а имплементация, поэтому команду надо усиливать там, где задача буксует; сильный лид задаёт потолок качества, а дешёвые рабочие снижают цену.
Практика
- Что получишь
- Понять, как перераспределить бюджет на команду агентов: определить узкий этап и поставить туда дешёвых рабочих, а лидера оставить сильным.
- Первый шаг
- Определить по своей задаче узкое место: если бинарник и документация, начинать с планировщиков, если каркас и тесты известны — с исполнителей.
- Цифры
- —10 баллов — на столько команда обгоняла соло-агента на Program Bench
- —4–7 раз — во столько команда была дороже соло-агента при первом сравнении
- —1,6 раза — во столько больше награды за доллар даёт планирование по сравнению с имплементацией или верификацией
- —70% — на столько дешевле команда с 16 планировщиками по сравнению с агентами на всех этапах PIV
- Честно
- Автор — исследователь Cohere и представляет собственную работу компании; это не реклама платного продукта, но заинтересованность в продвижении исследования есть. Точные промпты (минимальный и PIV) и настройки харнесса в выступлении не раскрыты, для повторения нужна статья и блог по QR-кодам. Часть результатов (распределение делегирования, графики эффективности) видна только на слайдах, а в речи цифр для полного воспроизведения не хватает.
Если слова незнакомы — 5 терминов
- агентпрограмма, которая сама выполняет задачу по шагам
- промпттекстовое задание или инструкция для модели
- бенчмарктестовый набор задач для измерения качества
- контекстобъём информации, который модель держит в текущем разговоре
- лидглавный агент, который раздаёт подзадачи и собирает результаты
Формат: разбор · для продвинутых · уверенность разметки 0.9 · источник