К содержимому
Дайджест

Тысяча задач агента в песочнице: что ломается

AI Engineer·12 октября 2026·15:19
можно прочитать можно повторить промо
Открыть на YouTube
Доклад инженера Amazon Bedrock Agent Core о стресс-тесте облачной песочницы с помощью тысячи задач от агента и разборе типичных отказов.

Что в ролике

Если вы запускаете кодинг-агентов в облачных песочницах, этот разбор показывает, где у таких сред возникают отказы на типовых сценариях. Кевин Орельяна из Amazon Bedrock Agent Core собрал за день-два MCP-сервер, который даёт агенту доступ к их среде, и попросил сгенерировать 1000 тестов в 10 доменах, чтобы ночью прогнать их по платформе. Результаты хранились в SQLite, а не в markdown-файлах, чтобы можно было параллельно запускать несколько подагентов и разбирать тысячи прогонов. Среди первых отказов были битая кодировка при загрузке и скачивании изображения через MCP-слой, null byte, ломавший тесты, и файл, записанный в директорию песочницы, который потом не читался. Отказы разделили на два слоя: интерфейсный (MCP) и песочничный, потому что у песочниц требования к низкоуровневым примитивам — правам файловой системы, памяти, CPU и возможности процессов — сильно влияют на способность агента решать задачу. Сравнение двух приложений на платформе показало: браузерная песочница падала из-за нехватки памяти при открытии вкладок, а код-интерпретатор таких проблем не имел. В конце он ссылается на исследование UC Berkeley, где агент с правильными настройками окружения и эксплойтами дошёл до 100% на бенчмарке, и призывает массово тестировать агентов широким набором задач не только локально, но и в удалённой песочнице.

Практика

Что получишь
Понимание, какие именно слои песочницы (MCP-интерфейс, файловая система, память, права процессов) чаще всего ломают кодинг-агентов, и как устроить массовый прогон тестов для поиска таких мест.
Первый шаг
Поднять MCP-сервер для своей песочницы и попросить агента сгенерировать небольшой набор разнородных тестов, а не проверять сценарии вручную.
Цифры
  • —1000 тестов — столько задач сгенерировал агент для прогона по песочнице
  • —10 доменов — на такое число областей разбили тесты (файловая система, жизненный цикл, производительность и другие)
  • —100% — до такого результата агент с правильными настройками окружения дошёл на бенчмарке в исследовании UC Berkeley
Честно
Автор продвигает платформу Amazon Bedrock Agent Core и упоминает свежую функцию SSH-доступа в песочницу, но без готовых инструкций или кода. Конкретные команды, настройки MCP-сервера и схемы отказов видны только на слайдах, поэтому повторение потребует самостоятельной реализации.
Если слова незнакомы — 4 терминов

Связки из этого ролика

1 шт.

Компоненты

3 шт.

Формат: разбор кейса · для практикующих · уверенность разметки 0.9 · источник