К содержимому
Дайджест

Метрики для LLM: стоимость, безопасность, качество

AI Engineer·3 октября 2026·18:01
можно прочитать понять, как устроено промо
Открыть на YouTube
Доклад для инженеров, запускающих LLM-сервисы, о том, какие метрики помимо классических golden signals нужно мониторить в production.

Что в ролике

Если вы мониторите своё LLM-приложение только по latency, error, traffic и saturation, вы видите, что сервис работает, но не видите, что он делает с бюджетом, данными и пользователем. Марина Петцель из Datadog разбирает, почему генеративным приложениям не хватает классических golden signals: ответы недетерминированы, расходы зависят от токенов и моделей, появились новые атаки, а 200 OK не гарантирует полезный ответ. Для контроля расходов она советует следить за token creep (контекстное окно может вырасти с 4 000 до 132 000 токенов и поднять стоимость до 8 раз), model drift (переход с Haiku 4.5 на Opus 4.8 может сделать запрос до 15 раз дороже) и повторными запросами без кэша, из-за которых до 70% трат может быть избыточными. Чтобы понимать, куда уходят деньги, нужно тегировать все вызовы по фиче, пользователю, модели и endpoint'у. Безопасность измеряется частотой prompt injection, PII-утечек (цель — 0%), токсичности и jailbreak-попыток, которые нужно блокировать все. Качество предлагается оценивать по hallucination rate, релевантности через BERT/эмбеддинги, удовлетворённости пользователей с целевым показателем выше 85% положительных оценок, полноте ответа через LLM-as-a-judge и качеству RAG по top-k accuracy и NDCG. В конце Марина напоминает, что все старые метрики остаются, а поверх добавляется слой cost-safety-quality, и предлагает попробовать Datadog Agent Observability.

Практика

Что получишь
Набор конкретных метрик и порогов для контроля расходов, безопасности и качества LLM-приложений, а также схему тегирования для cost attribution.
Первый шаг
Начните с тегирования всех вызовов LLM по фиче, пользователю, модели и окружению, чтобы увидеть, какие сценарии съедают бюджет.
Цифры
  • —8 раз — во столько может вырасти стоимость запроса при увеличении контекстного окна с 4 000 до 132 000 токенов без финансового контроля
  • —15 раз — настолько дороже может оказаться запрос после перехода с Haiku 4.5 на Opus 4.8
  • —70% — доля избыточных трат на повторные вызовы одной и той же модели без кэширования
  • —0% — целевая допустимая доля PII-утечек в production-выводах
Честно
Доклад завершается промо Datadog Agent Observability: автор приглашает к стенду и предлагает QR-код для бесплатного триала. Пошаговых инструкций по внедрению метрик в ролике нет — только перечень подходов и целевых порогов, а интерфейс продукта показан фрагментарно.
Если слова незнакомы — 10 терминов

Компоненты

3 шт.

Формат: разбор · для практикующих · уверенность разметки 0.9 · источник