К содержимому
Дайджест

MLflow: наблюдаемость для мультиагентных систем

IBM Technology·17 сентября 2026·9:38
можно прочитать понять, как устроено
Открыть на YouTube
Разбор наблюдаемости мультиагентных LLM-приложений на примере MLflow — для разработчиков, у которых агент отвечает неверно, а обычный мониторинг ничего не показывает.

Что в ролике

Агент отвечает пользователю неправильно, а в обычном дашборде всё в порядке: запрос прошёл, код 200, 2,3 секунды. Такого уровня мониторинга не хватает, когда запрос идёт через пять агентов, и сбой прячется между ними: MCP-сервер вернул пустые данные, медленный запрос к базе задержал вызов модели, промпт переполнился контекстом. Автор показывает, как разбирать такие случаи в MLflow — платформе наблюдаемости, совместимой с OpenTelemetry: она записывает входы, выходы и метаданные каждого шага запроса. Базовая единица здесь трейс — полная запись одного запроса, собранная из спанов: отдельный вызов LLM, вызов инструмента или запрос к базе со своими входами, выходами и длительностью, плюс счётчики токенов и пары «промпт — ответ». Трейсы метят идентификаторами пользователя и сессии, поэтому можно открыть конкретную сессию и проиграть путь решения агента, а во время разработки — крутить промпты в блокноте и сразу гонять оценки. Качество оценивают двумя способами: детерминированными проверками вроде regex и порогов задержки и LLM-судьёй — второй моделью, которая выставляет оценку по критериям: правильность и экономичность вызовов инструментов, релевантность, безопасность и текстовые требования комплаенса. Дальше идут четыре настройки, отличающие демо от продакшена: настоящая база под сервер трекинга вместо файлов, асинхронная запись трейсов с сэмплированием, осознанный выбор модели-судьи и прогон оценок в CI как контроль качества.

Практика

Что получишь
Понимание трейсов и спанов, список четырёх типовых сбоев мультиагентной системы и четыре настройки MLflow, которые нужно сделать до продакшена. Сможете осмысленно решить, что проверять детерминированными проверками, а что отдавать модели-судье.
Первый шаг
Подключить MLflow к своему агенту одной строкой автолога для LangChain или LangGraph (mlflow.langchain.autolog) и посмотреть, как выглядит первый трейс.
Цифры
  • —2,3 секунды — время ответа в примере, где пользователь всё равно получил неверный ответ
  • —5 агентов — столько в демо-приложении для выдачи кредитов: проспектор, заёмщик, кредитный инспектор, андеррайтер и помощник для внутренней аналитики
  • —2 500 запросов — столько вызовов модели получится, если прогнать 500 примеров через пять LLM-судей
  • —100% ошибок — столько трейсов автор советует сохранять всегда, тогда как остальные можно сэмплировать
Честно
Ролик ведёт корпоративный канал IBM, но MLflow — открытый проект, и прямого продвижения своего продукта в речи нет. Готовых команд в пересказе не хватает: адрес backend-store, аргументы автолога и код mlflow.genai.evaluate показаны только на экране. Демо с кредитным приложением — иллюстрация, а не разбор реального инцидента.
Если слова незнакомы — 8 терминов

Связки из этого ролика

6 шт.

Компоненты

14 шт.

Формат: разбор · для практикующих · уверенность разметки 0.86 · источник