К содержимому
Дайджест

Оценка агентов в банках: датасеты, скоры и CI в Langfuse

AI Engineer·18 октября 2026·53:32
текст даёт основное можно повторить промо пошагово
Открыть на YouTube
Воркшоп для инженеров, которые готовят customer-facing агентов в регулируемых отраслях и хотят выстроить систематическую оценку качества и внедрить её в CI/CD.

Что в ролике

Запуск агентов в регулируемых сферах упирается в то, что система может выглядеть исправной, хотя на деле не выполнила действие — например, пообещала возврат, но не вызвала нужный инструмент. Langfuse предлагает замкнутый цикл: трассировка всех шагов, мониторинг аномалий, сбор эталонных датасетов, эксперименты и оценка через смесь LLM-судьи и детерминированных проверок. На примере банковского ассистента показано, как маскируются PII-данные, как эксперты размечают ошибки через аннотационные очереди, а LLM вытаскивает из комментариев типовые категории сбоев. Эти категории становятся скорами качества: корректность источников, формальный тон, отсутствие непрошеных продаж и другие. Эксперименты привязываются к датасету и запускаются автоматически при изменении промпта через CI-джобу с порогами pass/fail. По метрикам за семь дней ассистент обработал 1400 обращений без человека менее чем за 7 долларов, а 89 случаев инвестиционных консультаций отфильтрованы как риск. Авторы советуют не отдавать управление кодинг-агенту полностью, а оставлять человека на курировании данных и проверке вкусовых решений. Для старта предлагают установить Langfuse skill и начать с трассировки и сбора ground truth из исторических данных.

Практика

Что получишь
Схему полного цикла оценки: от трассировки и разметки эталонных данных до автоматических проверок при изменении промпта и дашбордов для бизнеса.
Первый шаг
Установить Langfuse skill в свой coding-агент и начать трассировку текущего агента, затем собрать первые эталонные примеры.
Цифры
  • —150 000 разработчиков — заявленная база пользователей Langfuse
  • —21 из Fortune 50 — компании, которые держат Langfuse в стеке при запуске AI-приложений
  • —90 млрд наблюдений — ежемесячный объём данных, поступающих в инстансы Langfuse
  • —1 400 обращений за 7 дней и менее $7 — столько банковский ассистент обработал без участия человека в демо
Честно
Это воркшоп сотрудников Langfuse, поэтому платформа и её возможности — главный герой: продукт активно продвигается, а репозиторий с демо-данными предоставлен самой компанией. Все настройки скорингов, аннотационных очередей и CI-пайплайна показаны в интерфейсе Langfuse, в тексте они не воспроизведены полностью. Цифры внедрения (150 000 разработчиков, 90 млрд наблюдений в месяц) даны со слов авторов без независимой проверки.
Если слова незнакомы — 8 терминов

Связки из этого ролика

3 шт.

Компоненты

7 шт.

Формат: пошаговый урок · для практикующих · уверенность разметки 0.92 · источник