Песочница для агента вместо каталога инструментов

Что в ролике
Если агент получает под каждый запрос огромный каталог инструментов, контекст быстро забивается лишним, растут задержки и стоимость, а цепочки вызовов становятся хрупкими. Автор из Arize AI предлагает Code Mode: вместо готового списка агент ищет нужные инструменты и исполняет их в песочнице, где можно строить последовательные, параллельные и условные сценарии. В Phoenix агент получил Bash, Python-песочницу, доступ к REST CRUD-эндпоинтам и SQL, а для сложных действий в интерфейсе — программную логику в web worker с двусторонней привязкой к браузеру. Такая архитектура позволяет вызывать несколько инструментов за один ход и возвращать в контекст только нужное, а также создавать собственные инструменты на лету, например удалять персональные данные без передачи карт в контекст. Платить приходится сложностью: сгенерированный код может падать без возможности продолжить, сетевой доступ и секреты требуют ограничений, отладка и права доступа становятся менее прозрачными. В собственных замерах на платформе Phoenix команда получила снижение числа токенов на 43% и стоимости на 31% при примерно той же задержке, с оговоркой, что добавляется работа песочницы. Оценивают агентов через фреймворк Harbor: многократные прогоны в изолированных средах с выключенным сетевым доступом и проверками, которые дают бинарную оценку выполнения задачи.
Практика
- Что получишь
- Понять, когда агенту нужна песочница вместо набора вызовов, и по каким метрикам сравнивать выигрыш по токенам, стоимости и задержке.
- Первый шаг
- Взять один сценарий своего агента и перенести вызов инструментов в Bash или Python-песочницу, сняв замеры до и после.
- Цифры
- —43% — на столько снизилось количество токенов после перехода на Code Mode в замерах Arize
- —31% — на столько снизилась стоимость при примерно той же задержке
- —50 строк кода — оценка автора для обычного скрипта, который программист написал бы для выгрузки вложений из почты
- Честно
- Автор — сотрудник Arize AI, и в конце прямо предлагает использовать их инструменты Phoenix и Harbor для оценки агентов. Готовых конфигураций песочниц или кода примеров в докладе нет, поэтому повторять придётся по описанию и своему стеку.
Если слова незнакомы — 5 терминов
- Code Modeрежим, в котором агент пишет и выполняет код для вызова инструментов вместо выбора их из готового списка
- REST CRUDнабор операций создать, прочитать, обновить, удалить через HTTP-интерфейс
- web workerфоновый поток в браузере, который выполняет код, не блокируя интерфейс страницы
- токенединица текста, которую модель обрабатывает и по которой считают стоимость и объём контекста
- Harborфреймворк для прогона агентов в песочницах с проверкой выполнения задач
Связки из этого ролика
3 шт.- Bash + Unix tools
- Python sandbox + REST CRUD
- SQL
Компоненты
6 шт.Формат: разбор · для практикующих · уверенность разметки 0.8 · источник