Как Arize два года переписывала своего агента Alex

Что в ролике
Построить агента, который не ломается в проде, — задача, ради которой команда Arize два года переписывала своего агента Alex внутри платформы Arize X. Начали в конце 2023 с моделей, которые галлюцинировали в половине случаев, поэтому всю математику перенесли из модели в код, а сам агент переписывали несколько раз. Сейчас Alex умеет читать трейсы, превращать находки в тесты, планировать многошаговые задачи и генерировать синтетические данные. Главные решения — не отдавать модели контроль над планом: состояние хранит харнесс, а модель лишь выполняет следующий шаг, и заканчивать ход явным вызовом finish, который отбивается до трёх раз при открытых пунктах. Для памяти вместо векторных баз и графов используют один markdown-файл на пользователя размером до 8 тысяч символов, который фоновый процесс обновляет после сессии. Вместо десятка специализированных субагентов оставили одного, который подгружает навыки по требованию, а модель по умолчанию выбирают быструю и достаточно точную, например Sonar 4,5. Продакшен-сессии превращают в регрессионные датасеты, а баги ищут через их же агента Signal, который находит аномалии вроде 43 одинаковых вызовов инструментов за ход. Окончательный судейский контроль всё равно остаётся за человеком: золотые датасеты, решения о скорости против качества и проверка исправлений.
Практика
- Что получишь
- Набор проверенных паттернов для агентных систем: как управлять планом, завершать ход, хранить память и тестировать на продакшен-трафике без переусложнения.
- Первый шаг
- Начните с трассировки всех действий агента и превратите продакшен-сессии в регрессионные датасеты, чтобы ловить баги как аномалии в поведении.
- Цифры
- —50% — доля галлюцинаций в первых прототипах Alex на моделях конца 2023 года
- —8 000 символов — максимальный размер markdown-файла долгосрочной памяти на одного пользователя
- —43 одинаковых вызова инструментов за один ход — пример аномалии, которую ловит Signal
- —227 секунд — слишком долгий ответ агента, который стал поводом для оптимизации
- Честно
- Это доклад сотрудника Arize о внутреннем агенте Alex, поэтому он продвигает платформу Arize X, хотя речь техническая, а не рекламная. Многие детали показаны на слайдах (скриншоты трейсов, числа вроде 227 секунд латентности), поэтому для полного повторения придётся смотреть видео, а не только читать пересказ.
Если слова незнакомы — 4 терминов
- харнесскод вокруг модели, который управляет циклом, инструментами и состоянием, вне самой LLM
- трейсызаписи шагов агента или запросов для отладки и анализа
- регрессионный датасетнабор тестовых примеров для проверки, что изменения не ломают поведение
- золотые датасетыразмеченные вручную эталонные примеры для оценки качества работы агента
Компоненты
4 шт.Формат: разбор кейса · для продвинутых · уверенность разметки 0.85 · источник