К содержимому
Дайджест

Оценка агентов на реальных задачах с Harbor и Phoenix

AI Engineer·26 октября 2026·56:01
текст даёт основное понять, как устроено промо
Открыть на YouTube
Доклад инженера Arize AI о фреймворке Harbor для тестирования AI-агентов на реальных задачах в изолированных Docker-средах — для разработчиков, которые хотят итерировать агентов по доказательствам, а не на ощущениях.

Что в ролике

Harbor — это опенсорс-фреймворк, который запускает агента в свежем Docker-контейнере с реальными данными, даёт задачу на естественном языке и проверяет результат скриптами-верификаторами, записывающими награду в reward.txt. Задача состоит из markdown-инструкции и Docker-образа с данными (SQLite-файл, git-репозиторий), а для учёта случайности LLM каждая задача прогоняется несколько раз, в примере k=3, в отдельных контейнерах. Это позволяет горизонтально масштабировать тесты через песочницы вроде Daytona, Modal или E2B — автор использует Daytona с 200 параллельными воркерами. Перед запуском агента можно добавить oracle-скрипт, который решает задачу, чтобы отладить пайплайн и верификаторы без трат на токены. Команда Arize AI тестирует не сам кодинг-агент, а гибридную систему: Claude Code с их CLI, MCP-сервером или серверным агентом Pixie, упакованную в один Docker-контейнер с Phoenix и SQLite. Конкретный кейс — оптимизация агрегатных запросов: после добавления SQL-инструмента в MCP-сервер они обнаружили, что агент не понимает, когда использовать SQL вместо GraphQL, и поправили промпт, предписывая SQL для агрегатов. После изменения промпта в Phoenix было видно, что вызовы GraphQL снизились, вызовы SQL выросли, среднее число инструментальных вызовов упало, а награда осталась высокой, то есть корректность не пострадала. Phoenix добавляет к Harbor версионирование датасетов, визуализацию экспериментов, сравнение job'ов на уровне задач и доступ через CLI и MCP-сервер, поэтому автор показывает демо именно в нём.

Практика

Что получишь
Поймёте, как устроен Harbor и как на нём проверять агентов на реальных задачах, а также увидите пример оценки изменения промпта через Phoenix.
Первый шаг
Начните с официального примера Harbor для кодинг-агента на git-репозитории и постепенно добавляйте свои данные и верификаторы.
Цифры
  • —200 параллельных воркеров — столько использует автор на Daytona для горизонтального масштабирования тестов Harbor
  • —k=3 — количество повторных прогонов одной задачи в примере для учёта случайности LLM
  • —2 job'а — столько экспериментов (до и после изменения промпта) сравнивает автор в Phoenix
Честно
Доклад — это концептуальный обзор, а не пошаговый воркшоп: команды и структура файлов видны только на экране, в пересказе их не воспроизвести. Автор работает в Arize AI и заметно продвигает Phoenix и OpenInference, хотя признаёт, что Harbor имеет собственный UI и может использоваться без них. Данные для демо (SQLite-файл с трассами) не публикуются, поэтому повторить их кейс с агрегатными запросами можно только на своих данных.
Если слова незнакомы — 8 терминов

Связки из этого ролика

2 шт.

Компоненты

10 шт.

Формат: разбор · для практикующих · уверенность разметки 0.9 · источник