Оценка агентов на реальных задачах с Harbor и Phoenix

Что в ролике
Harbor — это опенсорс-фреймворк, который запускает агента в свежем Docker-контейнере с реальными данными, даёт задачу на естественном языке и проверяет результат скриптами-верификаторами, записывающими награду в reward.txt. Задача состоит из markdown-инструкции и Docker-образа с данными (SQLite-файл, git-репозиторий), а для учёта случайности LLM каждая задача прогоняется несколько раз, в примере k=3, в отдельных контейнерах. Это позволяет горизонтально масштабировать тесты через песочницы вроде Daytona, Modal или E2B — автор использует Daytona с 200 параллельными воркерами. Перед запуском агента можно добавить oracle-скрипт, который решает задачу, чтобы отладить пайплайн и верификаторы без трат на токены. Команда Arize AI тестирует не сам кодинг-агент, а гибридную систему: Claude Code с их CLI, MCP-сервером или серверным агентом Pixie, упакованную в один Docker-контейнер с Phoenix и SQLite. Конкретный кейс — оптимизация агрегатных запросов: после добавления SQL-инструмента в MCP-сервер они обнаружили, что агент не понимает, когда использовать SQL вместо GraphQL, и поправили промпт, предписывая SQL для агрегатов. После изменения промпта в Phoenix было видно, что вызовы GraphQL снизились, вызовы SQL выросли, среднее число инструментальных вызовов упало, а награда осталась высокой, то есть корректность не пострадала. Phoenix добавляет к Harbor версионирование датасетов, визуализацию экспериментов, сравнение job'ов на уровне задач и доступ через CLI и MCP-сервер, поэтому автор показывает демо именно в нём.
Практика
- Что получишь
- Поймёте, как устроен Harbor и как на нём проверять агентов на реальных задачах, а также увидите пример оценки изменения промпта через Phoenix.
- Первый шаг
- Начните с официального примера Harbor для кодинг-агента на git-репозитории и постепенно добавляйте свои данные и верификаторы.
- Цифры
- —200 параллельных воркеров — столько использует автор на Daytona для горизонтального масштабирования тестов Harbor
- —k=3 — количество повторных прогонов одной задачи в примере для учёта случайности LLM
- —2 job'а — столько экспериментов (до и после изменения промпта) сравнивает автор в Phoenix
- Честно
- Доклад — это концептуальный обзор, а не пошаговый воркшоп: команды и структура файлов видны только на экране, в пересказе их не воспроизвести. Автор работает в Arize AI и заметно продвигает Phoenix и OpenInference, хотя признаёт, что Harbor имеет собственный UI и может использоваться без них. Данные для демо (SQLite-файл с трассами) не публикуются, поэтому повторить их кейс с агрегатными запросами можно только на своих данных.
Если слова незнакомы — 8 терминов
- LLMбольшая языковая модель, например Claude
- Dockerспособ упаковать приложение и его окружение в изолированный контейнер
- верификаторскрипт, который проверяет, что агент оставил нужные изменения в среде
- MCPпротокол подключения внешних инструментов к ассистенту
- GraphQLязык запросов к API, альтернатива REST
- SQLязык запросов к базам данных
- промпттекст-инструкция, которую вы даёте модели
- oracleэталонное решение задачи, которое помогает проверить пайплайн до запуска агента
Связки из этого ролика
2 шт.- OpenTelemetry + OpenInference
- Harbor + Phoenix
Компоненты
10 шт.Формат: разбор · для практикующих · уверенность разметки 0.9 · источник