К содержимому
Дайджест

Голосовые агенты: почему транскрипт врёт и как это чинить

AI Engineer·5 октября 2026·18:00
текст даёт основное понять, как устроено промо
Открыть на YouTube
Технический доклад о том, как видеть и отлаживать голосовых агентов через аудио, трассы и аудио-эвалы, а не только по текстовым логам.

Что в ролике

Голосовые агенты быстро растут, но остаются одной из самых хрупких категорий: транскрипт может выглядеть нормально, а сам звонок провалиться из-за латентности, перебиваний и неверного распознавания. Автор показывает пример, где пользователь просит возврат по заказу 14, агент слышит 40, и транскрипт выглядит исправленным, хотя в аудио слышны 2,4 секунды тишины, агент перебивает и подтверждает чужой возврат. Чтобы это увидеть, нужно собрать в одном месте аудио, транскрипт и трассу, включая отдельные шаги (spans), тайминги, события прерываний и sentiment-оценку по голосу. Под капотом у такой трассировки — открытые семантические конвенции Open Inference, совместимые с OpenTelemetry, которые нормализуют события от OpenAI Real-time и Gemini Live в единую схему. Поверх трасс Arize умеет запускать аудио-специфичные эвалы: оценку тональности по аудиоспану, проверку задержек, прерываний и успешности задачи — не по тексту, а по звуку. Создать такую проверку можно через skills одной фразой вроде «создай аудио-эвал для sentiment-анализа», и платформа сама развернёт CLI-запросы и привяжет результаты к нужным спанам. В финале автор описывает будущее self-healing агентов: SRE-агент анализирует проваленные трассы, генерирует фикс, прогоняет его на тех же трассах и оставляет PR с отчётом, который человеку остаётся только одобрить. Для старта предлагается бесплатный Open Inference instrumenter и промокод AIWF2026 на год Voice Pro, чтобы начать видеть аудио и метрики своих агентов.

Практика

Что получишь
Поймёте, какие провалы голосовых агентов не видны в текстовых логах, и как подступиться к их трассировке и оценке с помощью сессионных вью и аудио-эвалов.
Первый шаг
Запустить бесплатный Open Inference instrumenter и начать писать трассы своих голосовых вызовов, чтобы увидеть тайминги и прерывания.
Цифры
  • —2,4 секунды — пауза перед первым ответом агента в провальном примере с возвратом
  • —14 и 40 — пользователь просил возврат по заказу 14, а агент оформил возврат по заказу 40
  • —1 год — столько даёт промокод AIWF2026 на бесплатный Voice Pro в Arize
Честно
Автор — продакт-менеджер Arize, и всё выступление построено вокруг продукта: в конце он даёт промокод AIWF2026 на бесплатный год Voice Pro и рекомендует завести аккаунт Arize. Open Inference и инструментер бесплатны и open-source, их можно отправить в любой бэкенд, но аудио-эвалы, skills, сессионный вью и агентные эксперименты завязаны на платформу Arize. Часть показанного (аудиопример, интерфейс трассировки, команды и код на экране) в пересказе не воспроизводится, поэтому для повторения нужен просмотр записи.
Если слова незнакомы — 6 терминов

Связки из этого ролика

2 шт.

Компоненты

6 шт.

Формат: разбор · для практикующих · уверенность разметки 0.8 · источник