Мониторинг агентов: как ловить сбои через Langfuse

Что в ролике
Если агент уже отвечает пользователям, но вы не видите, где он ошибается, воркшоп Langfuse показывает, как выстроить мониторинг на реальном примере приложения Specs — агента поддержки для отца одной из ведущих. Приложение на TypeScript с OpenAI agent SDK подключено к Langfuse, и каждый вопрос пользователя превращается в трассу из наблюдений: вызовы модели, обращения к инструменту get support context и поиск по библиотеке помощи. Ведущие настраивают онлайн-оценщики: LLM-as-a-judge ловит несогласие пользователя по всей истории сообщений, а code-based Python-оценщик проверяет верхний регистр в репликах как признак фрустрации, и оба срабатывают на живых трассах. Для оценки out-of-scope запросов они создают ещё один шаблон, который через JSON-путь сравнивает системный промпт с последним сообщением пользователя и подсвечивает попытки выйти за рамки IT-поддержки. Затем в Langfuse загружают синтетические продакшен-трассы и запускают coding agent Codex с установленным Langfuse skill, чтобы тот нашёл скрытые проблемы: тихий сбой поиска в библиотеке помощи, лишние повторы инструментов, задержки и неполное покрытие оценками. Skill через CLI Langfuse получает доступ к трассам, scores и репозиторию, поэтому Codex не только составляет отчёт, но и предлагает исправить проблемный инструмент поиска в коде. Смысл цикла в том, чтобы собранные сигналы из продакшена переносить в офлайн-датасеты и эксперименты, и только после успешной оценки деплоить изменения без регрессий.
Практика
- Что получишь
- После воркшопа вы сможете настроить tracing и мониторинг в Langfuse: подключить приложение, создать LLM- и code-based оценщики под свои сценарии и попросить coding agent найти тихие сбои в трассах.
- Первый шаг
- Перейти на lenfuse.com/workshop, склонировать репозиторий langfuse/workshop и создать аккаунт Langfuse с API-ключом.
- Цифры
- —500 — столько первых вопросов автор оценивает, чтобы найти 5–7 случаев несогласия пользователя
- —8 — столько модулей содержит полный воркшоп на сайте Langfuse, из них на занятии разобрали только мониторинг
- —70–120 трасс — примерно столько синтетических продакшен-записей загрузили в Langfuse для анализа Codex
- Честно
- Это воркшоп компании Langfuse, поэтому платформа и её skill для coding-агентов продвигаются напрямую. Все материалы открыты на GitHub, но для повторения нужен аккаунт Langfuse и свой ключ OpenAI — общий ключ с выступления потом ротируется. Промпты оценщиков, JSON-пути и настройки LLM-подключения видны на экране, но в пересказе остаются пошаговые детали, которые придётся смотреть в записи или на сайте воркшопа.
Если слова незнакомы — 7 терминов
- агентпрограмма, которая сама выполняет действия и отвечает пользователю
- трассировказапись всех шагов выполнения агента
- наблюдениеотдельный шаг внутри трассы: вызов модели или инструмента
- оценщикавтоматическая проверка качества или поведения
- LLM-as-a-judgeоценщик, где языковая модель сама выносит суждение по промпту
- JSON-путьспособ указать, какую часть трассы передать в оценщик
- scoreчисловая или булева оценка, которую ставит оценщик
Понадобится экран
Часть информации есть только на экране (проход по интерфейсу). Открыть на YouTube с 11:08.
Связки из этого ролика
2 шт.- Langfuse + OpenAI
- OpenAI Agent SDK + Langfuse
Компоненты
7 шт.Цитаты-доказательства
дословно из субтитровФормат: пошаговый урок · для практикующих · уверенность разметки 0.9 · источник