Оценка агентов в банках: датасеты, скоры и CI в Langfuse

Что в ролике
Запуск агентов в регулируемых сферах упирается в то, что система может выглядеть исправной, хотя на деле не выполнила действие — например, пообещала возврат, но не вызвала нужный инструмент. Langfuse предлагает замкнутый цикл: трассировка всех шагов, мониторинг аномалий, сбор эталонных датасетов, эксперименты и оценка через смесь LLM-судьи и детерминированных проверок. На примере банковского ассистента показано, как маскируются PII-данные, как эксперты размечают ошибки через аннотационные очереди, а LLM вытаскивает из комментариев типовые категории сбоев. Эти категории становятся скорами качества: корректность источников, формальный тон, отсутствие непрошеных продаж и другие. Эксперименты привязываются к датасету и запускаются автоматически при изменении промпта через CI-джобу с порогами pass/fail. По метрикам за семь дней ассистент обработал 1400 обращений без человека менее чем за 7 долларов, а 89 случаев инвестиционных консультаций отфильтрованы как риск. Авторы советуют не отдавать управление кодинг-агенту полностью, а оставлять человека на курировании данных и проверке вкусовых решений. Для старта предлагают установить Langfuse skill и начать с трассировки и сбора ground truth из исторических данных.
Практика
- Что получишь
- Схему полного цикла оценки: от трассировки и разметки эталонных данных до автоматических проверок при изменении промпта и дашбордов для бизнеса.
- Первый шаг
- Установить Langfuse skill в свой coding-агент и начать трассировку текущего агента, затем собрать первые эталонные примеры.
- Цифры
- —150 000 разработчиков — заявленная база пользователей Langfuse
- —21 из Fortune 50 — компании, которые держат Langfuse в стеке при запуске AI-приложений
- —90 млрд наблюдений — ежемесячный объём данных, поступающих в инстансы Langfuse
- —1 400 обращений за 7 дней и менее $7 — столько банковский ассистент обработал без участия человека в демо
- Честно
- Это воркшоп сотрудников Langfuse, поэтому платформа и её возможности — главный герой: продукт активно продвигается, а репозиторий с демо-данными предоставлен самой компанией. Все настройки скорингов, аннотационных очередей и CI-пайплайна показаны в интерфейсе Langfuse, в тексте они не воспроизведены полностью. Цифры внедрения (150 000 разработчиков, 90 млрд наблюдений в месяц) даны со слов авторов без независимой проверки.
Если слова незнакомы — 8 терминов
- агентпрограмма, которая сама выполняет действия по инструкции и взаимодействует с пользователем и инструментами
- LLM-судьяоценка ответа модели с помощью другой языковой модели по заданным критериям
- детерминированная проверкакодовая проверка, которая для одинаковых входных данных всегда даёт один и тот же результат, например точное совпадение строк
- PIIперсональные данные, по которым можно идентифицировать человека: номер карты, паспорт, телефон
- CI/CDавтоматические проверки и доставка изменений при каждом обновлении кода или конфигурации
- ground truthэталонный набор примеров с ожидаемыми ответами, по которому измеряют качество модели
- аннотационная очередьсписок примеров, которые человек должен разметить или оценить, чтобы обучить или проверить оценщика
- трассировказапись всех шагов агента: входы, выходы, вызовы инструментов и затраты
Связки из этого ролика
3 шт.- Langfuse + GitHub CI/CD
- ClickHouse + Postgres
- LLM as a judge
Компоненты
7 шт.Формат: пошаговый урок · для практикующих · уверенность разметки 0.92 · источник