Как не переплачивать за агентов: кэш, шаги и выбор модели

Что в ролике
Если вы запускаете агентов в продакшене и смотрите на счета, этот доклад даёт рамку для выбора модели по соотношению интеллекта и цены. Сооснователь Artificial Analysis Джордж Кэмерон показывает, что Anthropic Opus в бенчмарке AA Briefcase выполняет задачу в среднем за $21, а без попаданий в кэш та же задача стоила бы больше $200. Основные драйверы цены теперь не выходные токены, а количество шагов агента, объём входных токенов и процент кэш-попаданий. Дешёвые модели вроде Luna решают ту же задачу за 7 центов, и разница между лидерами и бюджетными вариантами достигает двух порядков. Уровень интеллекта дешевеет примерно на порядок за год, а open-weight модели отстают от проприетарных лидеров на 3–9 месяцев. Для выбора он советует разделять задачи на те, где рост интеллекта всегда улучшает результат, и те, где есть потолок — например, вопрос о тратах за месяц одинаково хорошо ответит и Luna, и Astra. Компания предлагает свой продукт Optima: загружаешь контекст, и агент генерирует собственный бенчмарк с кривыми компромисса между качеством и ценой.
Практика
- Что получишь
- Способ разложить стоимость агента на входные токены, кэш-попадания и число шагов и выбрать модель под задачу, а не просто самую умную.
- Первый шаг
- Прогнать свою задачу через Pareto-фронт на artificialanalysis.ai и определить, попадает ли она в категорию ограниченного или неограниченного интеллекта.
- Цифры
- —165 шагов — столько агентских шагов понадобилось Opus в бенчмарке AA Briefcase, чтобы выполнить задачу
- —$21 — средняя стоимость задачи для Opus при работающем кэше, а без кэша — больше $200
- —7 центов — стоимость выполнения задачи моделью Luna против $21 у Opus
- —10x — настолько падает цена доступа к фиксированному уровню интеллекта примерно за год
- Честно
- Доклад продвигает продукт Artificial Analysis — Optima, сайт artificialanalysis.ai и открытые вакансии компании. Конкретные настройки агентов, графики и детали бенчмарка AA Briefcase видны только на слайдах, в речи их не проговаривают.
Если слова незнакомы — 4 терминов
- кэш-попаданиеповторное использование уже обработанного контекста, чтобы не платить за него снова
- open-weightмодель с открытыми весами, которую можно разворачивать самому
- проприетарная модельзакрытая модель, доступная только через API вендора
- Pareto-фронткривая, где нельзя улучшить один параметр без ухудшения другого; здесь граница оптимальных вариантов по цене и интеллекту
Компоненты
9 шт.Формат: разбор · для продвинутых · уверенность разметки 0.92 · источник