Голосовые агенты: почему транскрипт врёт и как это чинить

Что в ролике
Голосовые агенты быстро растут, но остаются одной из самых хрупких категорий: транскрипт может выглядеть нормально, а сам звонок провалиться из-за латентности, перебиваний и неверного распознавания. Автор показывает пример, где пользователь просит возврат по заказу 14, агент слышит 40, и транскрипт выглядит исправленным, хотя в аудио слышны 2,4 секунды тишины, агент перебивает и подтверждает чужой возврат. Чтобы это увидеть, нужно собрать в одном месте аудио, транскрипт и трассу, включая отдельные шаги (spans), тайминги, события прерываний и sentiment-оценку по голосу. Под капотом у такой трассировки — открытые семантические конвенции Open Inference, совместимые с OpenTelemetry, которые нормализуют события от OpenAI Real-time и Gemini Live в единую схему. Поверх трасс Arize умеет запускать аудио-специфичные эвалы: оценку тональности по аудиоспану, проверку задержек, прерываний и успешности задачи — не по тексту, а по звуку. Создать такую проверку можно через skills одной фразой вроде «создай аудио-эвал для sentiment-анализа», и платформа сама развернёт CLI-запросы и привяжет результаты к нужным спанам. В финале автор описывает будущее self-healing агентов: SRE-агент анализирует проваленные трассы, генерирует фикс, прогоняет его на тех же трассах и оставляет PR с отчётом, который человеку остаётся только одобрить. Для старта предлагается бесплатный Open Inference instrumenter и промокод AIWF2026 на год Voice Pro, чтобы начать видеть аудио и метрики своих агентов.
Практика
- Что получишь
- Поймёте, какие провалы голосовых агентов не видны в текстовых логах, и как подступиться к их трассировке и оценке с помощью сессионных вью и аудио-эвалов.
- Первый шаг
- Запустить бесплатный Open Inference instrumenter и начать писать трассы своих голосовых вызовов, чтобы увидеть тайминги и прерывания.
- Цифры
- —2,4 секунды — пауза перед первым ответом агента в провальном примере с возвратом
- —14 и 40 — пользователь просил возврат по заказу 14, а агент оформил возврат по заказу 40
- —1 год — столько даёт промокод AIWF2026 на бесплатный Voice Pro в Arize
- Честно
- Автор — продакт-менеджер Arize, и всё выступление построено вокруг продукта: в конце он даёт промокод AIWF2026 на бесплатный год Voice Pro и рекомендует завести аккаунт Arize. Open Inference и инструментер бесплатны и open-source, их можно отправить в любой бэкенд, но аудио-эвалы, skills, сессионный вью и агентные эксперименты завязаны на платформу Arize. Часть показанного (аудиопример, интерфейс трассировки, команды и код на экране) в пересказе не воспроизводится, поэтому для повторения нужен просмотр записи.
Если слова незнакомы — 6 терминов
- трасса (trace)запись всех шагов вызова агента, по которой видно, что происходило в системе
- spanотдельный шаг внутри трассы, например вызов инструмента или ответ модели
- эвал (evaluation)автоматическая проверка качества работы агента по заданному критерию
- OpenTelemetryоткрытый стандарт описания телеметрии, чтобы инструменты трассировки могли обмениваться данными
- Open Inferenceоткрытые семантические конвенции Arize, которые переводят события GenAI в понятную схему
- SRE-агентпрограмма, которая сама следит за надёжностью системы, ищет сбои и предлагает исправления
Связки из этого ролика
2 шт.- Arize with Open Inference
- Arize with Claude skills
Компоненты
6 шт.Формат: разбор · для практикующих · уверенность разметки 0.8 · источник