К содержимому
Дайджест

Как Braintrust находит провалы агентов по трейсам и темам

AI Engineer·6 октября 2026·111:37
текст даёт основное можно повторить промо пошагово
Открыть на YouTube
Практический воркшоп для AI-инженеров, которые хотят настроить наблюдаемость агентов в Braintrust и автоматически возвращать найденные ошибки в процесс разработки.

Что в ролике

Чтобы чинить агентов не вслепую, нужен контур, где трассировка, оценки и продакшн-логи связаны: Даг Гатри из Braintrust показывает такой контур на воркшопе. Сначала он объясняет фундамент — трассировка собирает все вызовы инструментов, входы и выходы, а оценки делятся на кодовые проверки и LLM-судьи, которые можно калибровать человеческим ревью. Дальше в Braintrust включается пайплайн Topics: он предобрабатывает трейсы, делает суммаризацию, векторные эмбеддинги и кластеризацию, чтобы автоматически выявлять темы вроде задач, проблем и настроения пользователей. Для демо он использует агента поддержки на OpenAI Agents SDK, загружает 968 трейсов и видит срабатывание оценок и темы, например сбой поиска заказа. Затем он показывает, как с помощью агента Loop и SQL-запросов к Braintrust найти провальные примеры, добавить их в датасет и обновить оценки. В конце он подключает к кодинг-агенту CLI Braintrust и скилл, который автоматически пишет SQL, смотрит трейсы, создаёт новые оценки и правит код агента. Так замыкается цикл от продакшн-наблюдений к исправлению и проверке евалами.

Практика

Что получишь
Понимание, как собрать сигнал из трассировок, оценок и тем в Braintrust и как замкнуть его в автоматический цикл улучшения агента с помощью кодинг-агента.
Первый шаг
Создать бесплатный аккаунт Braintrust, склонировать публичный репозиторий воркшопа и пройти шаги из README: добавить AI-провайдера, API-ключ и запустить make ready.
Цифры
  • —968 — столько трейсов импортировали в проект для демонстрации тем
  • —5 260 — столько спанов оказалось внутри этих трейсов после импорта
  • —6 центов за миллион токенов на входе и 40 центов на выходе — стоимость hosted-моделей Topics
  • —5–10 дополнительных PR в день — столько, по словам автора, генерирует один из клиентов Braintrust с этим флайвилом
Честно
Это воркшоп-презентация продукта Braintrust от solutions engineer компании, так что все инструменты — платформа Braintrust; для повторения нужен бесплатный аккаунт и публичный репозиторий. Точные команды, настройки UI, промпты оценок и параметры автоматизаций видны на экране, а восстановить их только по пересказу нельзя; гибридное размещение данных доступно только на enterprise-тарифе.
Если слова незнакомы — 7 терминов

Связки из этого ролика

6 шт.

Компоненты

23 шт.

Формат: пошаговый урок · для практикующих · уверенность разметки 0.85 · источник