Как Braintrust находит провалы агентов по трейсам и темам

Что в ролике
Чтобы чинить агентов не вслепую, нужен контур, где трассировка, оценки и продакшн-логи связаны: Даг Гатри из Braintrust показывает такой контур на воркшопе. Сначала он объясняет фундамент — трассировка собирает все вызовы инструментов, входы и выходы, а оценки делятся на кодовые проверки и LLM-судьи, которые можно калибровать человеческим ревью. Дальше в Braintrust включается пайплайн Topics: он предобрабатывает трейсы, делает суммаризацию, векторные эмбеддинги и кластеризацию, чтобы автоматически выявлять темы вроде задач, проблем и настроения пользователей. Для демо он использует агента поддержки на OpenAI Agents SDK, загружает 968 трейсов и видит срабатывание оценок и темы, например сбой поиска заказа. Затем он показывает, как с помощью агента Loop и SQL-запросов к Braintrust найти провальные примеры, добавить их в датасет и обновить оценки. В конце он подключает к кодинг-агенту CLI Braintrust и скилл, который автоматически пишет SQL, смотрит трейсы, создаёт новые оценки и правит код агента. Так замыкается цикл от продакшн-наблюдений к исправлению и проверке евалами.
Практика
- Что получишь
- Понимание, как собрать сигнал из трассировок, оценок и тем в Braintrust и как замкнуть его в автоматический цикл улучшения агента с помощью кодинг-агента.
- Первый шаг
- Создать бесплатный аккаунт Braintrust, склонировать публичный репозиторий воркшопа и пройти шаги из README: добавить AI-провайдера, API-ключ и запустить make ready.
- Цифры
- —968 — столько трейсов импортировали в проект для демонстрации тем
- —5 260 — столько спанов оказалось внутри этих трейсов после импорта
- —6 центов за миллион токенов на входе и 40 центов на выходе — стоимость hosted-моделей Topics
- —5–10 дополнительных PR в день — столько, по словам автора, генерирует один из клиентов Braintrust с этим флайвилом
- Честно
- Это воркшоп-презентация продукта Braintrust от solutions engineer компании, так что все инструменты — платформа Braintrust; для повторения нужен бесплатный аккаунт и публичный репозиторий. Точные команды, настройки UI, промпты оценок и параметры автоматизаций видны на экране, а восстановить их только по пересказу нельзя; гибридное размещение данных доступно только на enterprise-тарифе.
Если слова незнакомы — 7 терминов
- трассировказапись всех шагов и вызовов, которые делает агент до ответа
- трейсодна запись такой трассировки с входами, выходами и вызовами инструментов
- евалавтоматическая проверка качества агента на наборе примеров
- LLM-судьямодель, которая оценивает ответ по заданным критериям вместо человека
- Topicsфункция Braintrust, которая группирует похожие ситуации в темы и ищет закономерности
- эмбеддингичисловые векторы, представляющие смысл текста для поиска похожего
- CLIинструмент командной строки, которым можно управлять Braintrust без веб-интерфейса
Связки из этого ролика
6 шт.- OpenAI Agents SDK
- OpenTelemetry
- LangGraph
- LangChain
- Terraform/Helm
- Python/uv
Компоненты
23 шт.Формат: пошаговый урок · для практикующих · уверенность разметки 0.85 · источник