MLflow: наблюдаемость для мультиагентных систем

Что в ролике
Агент отвечает пользователю неправильно, а в обычном дашборде всё в порядке: запрос прошёл, код 200, 2,3 секунды. Такого уровня мониторинга не хватает, когда запрос идёт через пять агентов, и сбой прячется между ними: MCP-сервер вернул пустые данные, медленный запрос к базе задержал вызов модели, промпт переполнился контекстом. Автор показывает, как разбирать такие случаи в MLflow — платформе наблюдаемости, совместимой с OpenTelemetry: она записывает входы, выходы и метаданные каждого шага запроса. Базовая единица здесь трейс — полная запись одного запроса, собранная из спанов: отдельный вызов LLM, вызов инструмента или запрос к базе со своими входами, выходами и длительностью, плюс счётчики токенов и пары «промпт — ответ». Трейсы метят идентификаторами пользователя и сессии, поэтому можно открыть конкретную сессию и проиграть путь решения агента, а во время разработки — крутить промпты в блокноте и сразу гонять оценки. Качество оценивают двумя способами: детерминированными проверками вроде regex и порогов задержки и LLM-судьёй — второй моделью, которая выставляет оценку по критериям: правильность и экономичность вызовов инструментов, релевантность, безопасность и текстовые требования комплаенса. Дальше идут четыре настройки, отличающие демо от продакшена: настоящая база под сервер трекинга вместо файлов, асинхронная запись трейсов с сэмплированием, осознанный выбор модели-судьи и прогон оценок в CI как контроль качества.
Практика
- Что получишь
- Понимание трейсов и спанов, список четырёх типовых сбоев мультиагентной системы и четыре настройки MLflow, которые нужно сделать до продакшена. Сможете осмысленно решить, что проверять детерминированными проверками, а что отдавать модели-судье.
- Первый шаг
- Подключить MLflow к своему агенту одной строкой автолога для LangChain или LangGraph (mlflow.langchain.autolog) и посмотреть, как выглядит первый трейс.
- Цифры
- —2,3 секунды — время ответа в примере, где пользователь всё равно получил неверный ответ
- —5 агентов — столько в демо-приложении для выдачи кредитов: проспектор, заёмщик, кредитный инспектор, андеррайтер и помощник для внутренней аналитики
- —2 500 запросов — столько вызовов модели получится, если прогнать 500 примеров через пять LLM-судей
- —100% ошибок — столько трейсов автор советует сохранять всегда, тогда как остальные можно сэмплировать
- Честно
- Ролик ведёт корпоративный канал IBM, но MLflow — открытый проект, и прямого продвижения своего продукта в речи нет. Готовых команд в пересказе не хватает: адрес backend-store, аргументы автолога и код mlflow.genai.evaluate показаны только на экране. Демо с кредитным приложением — иллюстрация, а не разбор реального инцидента.
Если слова незнакомы — 8 терминов
- трейсполная запись одного запроса со всеми шагами внутри
- спанодин шаг внутри трейса: вызов модели, обращение к инструменту или запрос к базе
- MCP-серверсервис, через который агент получает доступ к внешним данным и инструментам
- LLM-судьявторая модель, которая оценивает ответ первой по заданным критериям
- OpenTelemetryобщий стандарт сбора телеметрии, позволяющий выгружать трейсы и в другие системы
- промпттекст-задание, которое отправляют модели
- токенединица текста, которой измеряют объём запроса и ответа
- CIавтоматический прогон проверок при каждом изменении кода
Связки из этого ролика
6 шт.- MLflow + OpenTelemetry — трейсинг агентов с двойным экспортом в Jaeger и Grafana Tempo
- MLflow + LangChain/LangGraph — автозахват LLM-вызовов, вызовов инструментов и решений агента одной строкой mlflow.langchain.autolog
- MLflow tracking server + PostgreSQL/MySQL и объектное хранилище — продакшн-бэкенд вместо файлового
- MLflow LLM-as-judge + модель-судья на своём endpoint — оценка качества агента в закрытом контуре
- MLflow + MCP-серверы, базы данных и LLM — разбор одного запроса на спаны вызовов инструментов
- MLflow + CI — прогон тех же оценок на каждое изменение промпта или агента как quality gate
Компоненты
14 шт.Формат: разбор · для практикующих · уверенность разметки 0.86 · источник