К содержимому
Дайджест

Почему платформы для оценки агентов строить сложно

AI Engineer·6 октября 2026·17:47
можно прочитать понять, как устроено промо
Открыть на YouTube
Запись выступления инженера по решениям Braintrust о том, из каких частей состоит система оценки качества AI-агентов и почему её нельзя свести к таблице.

Что в ролике

Команда, которая хочет надёжных AI-агентов, сталкивается с тем, что LLM по своей природе недетерминированы, и оценки нужны, чтобы снизить риск до запуска. Спикер Хуссейн из Braintrust выделяет два столпа качества агентов: оценки до продакшена и наблюдаемость после, и описывает цикл улучшения от наблюдения сбоев до создания тест-кейсов и итераций. Начальный этап у большинства — таблица, где прогоняют входные примеры, смотрят результаты и вручную выставляют баллы, но аналитика, коллаборация и участие доменных экспертов там ограничены. Затем команды строят собственный UI, а потом инструменты для параллельного сравнения моделей, промптов и параметров, но остаётся слепая зона: что происходит с агентом в реальной среде. Полноценная система должна логировать каждый шаг трассировки, выявлять режимы отказов и превращать их в офлайн-оценки, замыкая цикл без регрессий. Однако на практике агентные трассы — это полуструктурированный JSON, иногда сотни мегабайт на взаимодействие, и стандартные облачные хранилища не справляются с такими объёмами и запросами в реальном времени. Для этого Braintrust создала язык запросов BTQL, чтобы разделить быстрые оперативные запросы и долгие аналитические, а также позволяет кодинг-агентам на естественном языке находить плохие трассы за последние сутки и запускать оценки. В итоге спикер называет создание eval-платформы системной задачей, а не задачей интерфейса, и предлагает Braintrust как решение для автоматического выявления неизвестных сбоев.

Практика

Что получишь
Понимание того, почему таблицы и самодельные интерфейсы перестают работать при росте агентной системы, и какие компоненты нужны для полноценного цикла улучшений.
Первый шаг
Завести таблицу с входными примерами и результатами прогонов вашего агента, чтобы увидеть, где поведение нестабильно, как советует спикер.
Цифры
  • —2 столпа качества агентов, которые выделяет спикер: оценки до продакшена и наблюдаемость после
  • —3 критерия простейшей eval-системы: запуск агента, просмотр результатов и набор входных примеров
  • —24 часа — период, за который кодинг-агент может собрать плохие трассы по естественно-языковому запросу
Честно
Спикер — руководитель solution engineering в Braintrust, и выступление построено как рассказ о сложности с переходом к рекомендации платформы Braintrust. Конкретных шагов по самостоятельной реализации или разбору BTQL нет, только концептуальные этапы. Демонстрации интерфейса Braintrust в записи нет.
Если слова незнакомы — 7 терминов

Компоненты

3 шт.

Формат: разбор · для практикующих · уверенность разметки 0.85 · источник