К содержимому
Дайджест

Как Arize два года переписывала своего агента Alex

AI Engineer·27 октября 2026·20:06
можно прочитать можно повторить промо
Открыть на YouTube
Технический доклад сотрудника Arize о том, какие архитектурные решения пережили два года переписываний агента Alex внутри платформы Arize X, и какие уроки из этого можно извлечь.

Что в ролике

Построить агента, который не ломается в проде, — задача, ради которой команда Arize два года переписывала своего агента Alex внутри платформы Arize X. Начали в конце 2023 с моделей, которые галлюцинировали в половине случаев, поэтому всю математику перенесли из модели в код, а сам агент переписывали несколько раз. Сейчас Alex умеет читать трейсы, превращать находки в тесты, планировать многошаговые задачи и генерировать синтетические данные. Главные решения — не отдавать модели контроль над планом: состояние хранит харнесс, а модель лишь выполняет следующий шаг, и заканчивать ход явным вызовом finish, который отбивается до трёх раз при открытых пунктах. Для памяти вместо векторных баз и графов используют один markdown-файл на пользователя размером до 8 тысяч символов, который фоновый процесс обновляет после сессии. Вместо десятка специализированных субагентов оставили одного, который подгружает навыки по требованию, а модель по умолчанию выбирают быструю и достаточно точную, например Sonar 4,5. Продакшен-сессии превращают в регрессионные датасеты, а баги ищут через их же агента Signal, который находит аномалии вроде 43 одинаковых вызовов инструментов за ход. Окончательный судейский контроль всё равно остаётся за человеком: золотые датасеты, решения о скорости против качества и проверка исправлений.

Практика

Что получишь
Набор проверенных паттернов для агентных систем: как управлять планом, завершать ход, хранить память и тестировать на продакшен-трафике без переусложнения.
Первый шаг
Начните с трассировки всех действий агента и превратите продакшен-сессии в регрессионные датасеты, чтобы ловить баги как аномалии в поведении.
Цифры
  • —50% — доля галлюцинаций в первых прототипах Alex на моделях конца 2023 года
  • —8 000 символов — максимальный размер markdown-файла долгосрочной памяти на одного пользователя
  • —43 одинаковых вызова инструментов за один ход — пример аномалии, которую ловит Signal
  • —227 секунд — слишком долгий ответ агента, который стал поводом для оптимизации
Честно
Это доклад сотрудника Arize о внутреннем агенте Alex, поэтому он продвигает платформу Arize X, хотя речь техническая, а не рекламная. Многие детали показаны на слайдах (скриншоты трейсов, числа вроде 227 секунд латентности), поэтому для полного повторения придётся смотреть видео, а не только читать пересказ.
Если слова незнакомы — 4 терминов

Компоненты

4 шт.

Формат: разбор кейса · для продвинутых · уверенность разметки 0.85 · источник