К содержимому
Дайджест

Агент Arya: цикл продакшн-трассировок и офлайн-симуляций

AI Engineer·26 сентября 2026·17:06
текст даёт основное можно повторить промо
Открыть на YouTube
Доклад инженера Weights & Biases для разработчиков, которые строят агентов и хотят понять, как замкнуть цикл оценки и самоулучшения без ручного кодирования.

Что в ролике

Зубин Айсола из Weights & Biases показывает, как команда оценивает и улучшает агента Arya с помощью единого цикла production-трассировок и офлайн-симуляций. Они логируют все запуски в Weave, гоняют побайтово идентичную версию агента в проде и песочнице, а каждые 4 часа синхронизируют код, чтобы не было расхождений. Ошибки и удачные кейсы из прод-трафика превращаются в YAML-задачи: сейчас их 886, они разделены по уровням и прогоняются параллельно в разных вариантах. Задачи бывают трёх видов: простой текстовый запрос, симуляция пользователя с персоной для многошаговых диалогов и перенос конкретного прод-трейса в офлайн-регрессию. Скоринг двойной: нормативный — прошла задача или нет, и сравнительный — какой вариант лучше, например, задаёт ли агент уточняющие вопросы пользователю. В живом демо Arya сам взял продакшн-трейс, нашёл ошибку с вызовом weave.log, создал регрессию, прогнал варианты и добавил в системный промпт исправление. Итог — автор не пишет код уже восемь месяцев, а проводит время в анализе трасс и настройке офлайн-цикла, который постепенно сам себя улучшает.

Практика

Что получишь
Поймёшь, как построить цикл оценки агента: синхронизировать прод и офлайн, превращать ошибки в YAML-задачи, использовать нормативный и сравнительный скоринг.
Первый шаг
Начни с логирования всех трассировок агента в единый формат в Weights & Biases Weave, чтобы затем переносить прод-кейсы в офлайн-песочницу.
Цифры
  • —886 — столько задач в офлайн-наборе Arya, разделённых по уровням
  • —4 часа — интервал синхронизации кода между продакшеном и исследовательской песочницей
  • —66% — производительность агента на части задач в CI, показанная на графике за семь недель
  • —8 месяцев — столько автор не пишет код сам, делегируя написание Claude
Честно
Доклад полностью построен на продуктах Weights & Biases — Weave и Arya, это их промо. Конкретного кода и YAML-спецификаций в озвучке нет, они видны только на экране, а повторить демо можно лишь имея доступ к W&B и Arya.
Если слова незнакомы — 7 терминов

Компоненты

6 шт.

Формат: разбор кейса · для продвинутых · уверенность разметки 0.85 · источник