Метрики для LLM: стоимость, безопасность, качество

Что в ролике
Если вы мониторите своё LLM-приложение только по latency, error, traffic и saturation, вы видите, что сервис работает, но не видите, что он делает с бюджетом, данными и пользователем. Марина Петцель из Datadog разбирает, почему генеративным приложениям не хватает классических golden signals: ответы недетерминированы, расходы зависят от токенов и моделей, появились новые атаки, а 200 OK не гарантирует полезный ответ. Для контроля расходов она советует следить за token creep (контекстное окно может вырасти с 4 000 до 132 000 токенов и поднять стоимость до 8 раз), model drift (переход с Haiku 4.5 на Opus 4.8 может сделать запрос до 15 раз дороже) и повторными запросами без кэша, из-за которых до 70% трат может быть избыточными. Чтобы понимать, куда уходят деньги, нужно тегировать все вызовы по фиче, пользователю, модели и endpoint'у. Безопасность измеряется частотой prompt injection, PII-утечек (цель — 0%), токсичности и jailbreak-попыток, которые нужно блокировать все. Качество предлагается оценивать по hallucination rate, релевантности через BERT/эмбеддинги, удовлетворённости пользователей с целевым показателем выше 85% положительных оценок, полноте ответа через LLM-as-a-judge и качеству RAG по top-k accuracy и NDCG. В конце Марина напоминает, что все старые метрики остаются, а поверх добавляется слой cost-safety-quality, и предлагает попробовать Datadog Agent Observability.
Практика
- Что получишь
- Набор конкретных метрик и порогов для контроля расходов, безопасности и качества LLM-приложений, а также схему тегирования для cost attribution.
- Первый шаг
- Начните с тегирования всех вызовов LLM по фиче, пользователю, модели и окружению, чтобы увидеть, какие сценарии съедают бюджет.
- Цифры
- —8 раз — во столько может вырасти стоимость запроса при увеличении контекстного окна с 4 000 до 132 000 токенов без финансового контроля
- —15 раз — настолько дороже может оказаться запрос после перехода с Haiku 4.5 на Opus 4.8
- —70% — доля избыточных трат на повторные вызовы одной и той же модели без кэширования
- —0% — целевая допустимая доля PII-утечек в production-выводах
- Честно
- Доклад завершается промо Datadog Agent Observability: автор приглашает к стенду и предлагает QR-код для бесплатного триала. Пошаговых инструкций по внедрению метрик в ролике нет — только перечень подходов и целевых порогов, а интерфейс продукта показан фрагментарно.
Если слова незнакомы — 10 терминов
- golden signalsчетыре базовые метрики здоровья сервиса: задержка, ошибки, трафик и насыщение
- token creepнезаметное увеличение контекстного окна, из-за которого растёт стоимость каждого запроса
- model driftпереход команды на более дорогую модель без пересчёта бюджета
- PIIперсональные данные, позволяющие идентифицировать человека
- prompt injectionатака, при которой в запросе прячут инструкции, обходящие защиту модели
- jailbreakпопытка заставить модель нарушить собственные ограничения
- RAGметод, при котором модель отвечает на основе найденных в базе документов
- LLM-as-a-judgeоценка качества ответа одной языковой моделью с помощью другой
- BERT/эмбеддингиспособ превратить текст в вектор, чтобы сравнивать смысловую близость вопросов и ответов
- top-k accuracy и NDCGметрики качества поиска: попадает ли релевантный документ в верхние k результатов и насколько высоко он ранжируется
Компоненты
3 шт.Формат: разбор · для практикующих · уверенность разметки 0.9 · источник