Тысяча задач агента в песочнице: что ломается

Что в ролике
Если вы запускаете кодинг-агентов в облачных песочницах, этот разбор показывает, где у таких сред возникают отказы на типовых сценариях. Кевин Орельяна из Amazon Bedrock Agent Core собрал за день-два MCP-сервер, который даёт агенту доступ к их среде, и попросил сгенерировать 1000 тестов в 10 доменах, чтобы ночью прогнать их по платформе. Результаты хранились в SQLite, а не в markdown-файлах, чтобы можно было параллельно запускать несколько подагентов и разбирать тысячи прогонов. Среди первых отказов были битая кодировка при загрузке и скачивании изображения через MCP-слой, null byte, ломавший тесты, и файл, записанный в директорию песочницы, который потом не читался. Отказы разделили на два слоя: интерфейсный (MCP) и песочничный, потому что у песочниц требования к низкоуровневым примитивам — правам файловой системы, памяти, CPU и возможности процессов — сильно влияют на способность агента решать задачу. Сравнение двух приложений на платформе показало: браузерная песочница падала из-за нехватки памяти при открытии вкладок, а код-интерпретатор таких проблем не имел. В конце он ссылается на исследование UC Berkeley, где агент с правильными настройками окружения и эксплойтами дошёл до 100% на бенчмарке, и призывает массово тестировать агентов широким набором задач не только локально, но и в удалённой песочнице.
Практика
- Что получишь
- Понимание, какие именно слои песочницы (MCP-интерфейс, файловая система, память, права процессов) чаще всего ломают кодинг-агентов, и как устроить массовый прогон тестов для поиска таких мест.
- Первый шаг
- Поднять MCP-сервер для своей песочницы и попросить агента сгенерировать небольшой набор разнородных тестов, а не проверять сценарии вручную.
- Цифры
- —1000 тестов — столько задач сгенерировал агент для прогона по песочнице
- —10 доменов — на такое число областей разбили тесты (файловая система, жизненный цикл, производительность и другие)
- —100% — до такого результата агент с правильными настройками окружения дошёл на бенчмарке в исследовании UC Berkeley
- Честно
- Автор продвигает платформу Amazon Bedrock Agent Core и упоминает свежую функцию SSH-доступа в песочницу, но без готовых инструкций или кода. Конкретные команды, настройки MCP-сервера и схемы отказов видны только на слайдах, поэтому повторение потребует самостоятельной реализации.
Если слова незнакомы — 4 терминов
- MCPпротокол, по которому агент получает набор инструментов для работы с сервисом
- песочницаизолированная среда, где код агента выполняется с ограничениями
- null byteнулевой байт (символ с кодом 0), который в некоторых языках и форматах сигнализирует конец строки и ломает обработку
- бенчмаркстандартизированный тест для сравнения качества моделей
Связки из этого ролика
1 шт.- coding agent + MCP + SQLite + cloud sandbox
Компоненты
3 шт.Формат: разбор кейса · для практикующих · уверенность разметки 0.9 · источник