Агент Arya: цикл продакшн-трассировок и офлайн-симуляций

Что в ролике
Зубин Айсола из Weights & Biases показывает, как команда оценивает и улучшает агента Arya с помощью единого цикла production-трассировок и офлайн-симуляций. Они логируют все запуски в Weave, гоняют побайтово идентичную версию агента в проде и песочнице, а каждые 4 часа синхронизируют код, чтобы не было расхождений. Ошибки и удачные кейсы из прод-трафика превращаются в YAML-задачи: сейчас их 886, они разделены по уровням и прогоняются параллельно в разных вариантах. Задачи бывают трёх видов: простой текстовый запрос, симуляция пользователя с персоной для многошаговых диалогов и перенос конкретного прод-трейса в офлайн-регрессию. Скоринг двойной: нормативный — прошла задача или нет, и сравнительный — какой вариант лучше, например, задаёт ли агент уточняющие вопросы пользователю. В живом демо Arya сам взял продакшн-трейс, нашёл ошибку с вызовом weave.log, создал регрессию, прогнал варианты и добавил в системный промпт исправление. Итог — автор не пишет код уже восемь месяцев, а проводит время в анализе трасс и настройке офлайн-цикла, который постепенно сам себя улучшает.
Практика
- Что получишь
- Поймёшь, как построить цикл оценки агента: синхронизировать прод и офлайн, превращать ошибки в YAML-задачи, использовать нормативный и сравнительный скоринг.
- Первый шаг
- Начни с логирования всех трассировок агента в единый формат в Weights & Biases Weave, чтобы затем переносить прод-кейсы в офлайн-песочницу.
- Цифры
- —886 — столько задач в офлайн-наборе Arya, разделённых по уровням
- —4 часа — интервал синхронизации кода между продакшеном и исследовательской песочницей
- —66% — производительность агента на части задач в CI, показанная на графике за семь недель
- —8 месяцев — столько автор не пишет код сам, делегируя написание Claude
- Честно
- Доклад полностью построен на продуктах Weights & Biases — Weave и Arya, это их промо. Конкретного кода и YAML-спецификаций в озвучке нет, они видны только на экране, а повторить демо можно лишь имея доступ к W&B и Arya.
Если слова незнакомы — 7 терминов
- трассировкажурнал всех вызовов инструментов и шагов агента
- офлайн-симуляциязапуск агента в локальной песочнице на записанных данных, а не в проде
- YAMLтекстовый формат для описания конфигураций и задач
- системный промптинструкция, которая задаёт поведение агента
- регрессионная задачазадача, воспроизводящая конкретную ошибку из продуктива
- нормативный скорингоценка по принципу «прошла задача или нет»
- сравнительный скорингоценка, при которой сравнивают поведение двух вариантов агента
Компоненты
6 шт.Формат: разбор кейса · для продвинутых · уверенность разметки 0.85 · источник