К содержимому
Дайджест

Мониторинг агентов: как ловить сбои через Langfuse

AI Engineer·11 октября 2026·44:23
нужен экран можно повторить промо пошагово
Открыть на YouTube
Практический воркшоп для инженеров, которые уже запустили агента и хотят настроить трассировку, мониторинг и поиск тихих сбоев в продакшене.

Что в ролике

Если агент уже отвечает пользователям, но вы не видите, где он ошибается, воркшоп Langfuse показывает, как выстроить мониторинг на реальном примере приложения Specs — агента поддержки для отца одной из ведущих. Приложение на TypeScript с OpenAI agent SDK подключено к Langfuse, и каждый вопрос пользователя превращается в трассу из наблюдений: вызовы модели, обращения к инструменту get support context и поиск по библиотеке помощи. Ведущие настраивают онлайн-оценщики: LLM-as-a-judge ловит несогласие пользователя по всей истории сообщений, а code-based Python-оценщик проверяет верхний регистр в репликах как признак фрустрации, и оба срабатывают на живых трассах. Для оценки out-of-scope запросов они создают ещё один шаблон, который через JSON-путь сравнивает системный промпт с последним сообщением пользователя и подсвечивает попытки выйти за рамки IT-поддержки. Затем в Langfuse загружают синтетические продакшен-трассы и запускают coding agent Codex с установленным Langfuse skill, чтобы тот нашёл скрытые проблемы: тихий сбой поиска в библиотеке помощи, лишние повторы инструментов, задержки и неполное покрытие оценками. Skill через CLI Langfuse получает доступ к трассам, scores и репозиторию, поэтому Codex не только составляет отчёт, но и предлагает исправить проблемный инструмент поиска в коде. Смысл цикла в том, чтобы собранные сигналы из продакшена переносить в офлайн-датасеты и эксперименты, и только после успешной оценки деплоить изменения без регрессий.

Практика

Что получишь
После воркшопа вы сможете настроить tracing и мониторинг в Langfuse: подключить приложение, создать LLM- и code-based оценщики под свои сценарии и попросить coding agent найти тихие сбои в трассах.
Первый шаг
Перейти на lenfuse.com/workshop, склонировать репозиторий langfuse/workshop и создать аккаунт Langfuse с API-ключом.
Цифры
  • —500 — столько первых вопросов автор оценивает, чтобы найти 5–7 случаев несогласия пользователя
  • —8 — столько модулей содержит полный воркшоп на сайте Langfuse, из них на занятии разобрали только мониторинг
  • —70–120 трасс — примерно столько синтетических продакшен-записей загрузили в Langfuse для анализа Codex
Честно
Это воркшоп компании Langfuse, поэтому платформа и её skill для coding-агентов продвигаются напрямую. Все материалы открыты на GitHub, но для повторения нужен аккаунт Langfuse и свой ключ OpenAI — общий ключ с выступления потом ротируется. Промпты оценщиков, JSON-пути и настройки LLM-подключения видны на экране, но в пересказе остаются пошаговые детали, которые придётся смотреть в записи или на сайте воркшопа.
Если слова незнакомы — 7 терминов

Понадобится экран

Часть информации есть только на экране (проход по интерфейсу). Открыть на YouTube с 11:08.

Связки из этого ролика

2 шт.

Компоненты

7 шт.

Цитаты-доказательства

дословно из субтитров

Формат: пошаговый урок · для практикующих · уверенность разметки 0.9 · источник