К содержимому
Дайджест

Arya: агент W&B для запуска ML-экспериментов

AI Engineer·26 сентября 2026·21:16
текст даёт основное можно повторить промо
Открыть на YouTube
Презентация агента Arya от Weights & Biases для ML-инженеров и исследователей, которые хотят автоматизировать запуск и анализ экспериментов.

Что в ролике

Если вы вручную запускаете десятки ML-экспериментов и разбираете их результаты, агент Arya от Weights & Biases обещает взять эту рутину на себя. На живом демо в workspace с 200 обучающими запусками автор просит Arya провести ещё один пакет экспериментов, и агент сам отказывается от смены архитектуры, подбирает гиперпараметры и запускает shell-команды. За кулисами работает очередь W&B Launch: она подключает Kubernetes-кластер с GPU, а результаты возвращаются в тот же интерфейс, где виден график снижения loss. Arya умеет по запросу находить паттерны в прогонах, выделять важные параметры вроде batch size и собирать отчёты с встроенными графиками, включая диаграмму важности параметров. Её выпустили и в iOS-приложении, чтобы управлять подбором гиперпараметров с телефона. Во второй части доклада показана архитектура: агент работает в песочнице и обращается к LLM-провайдеру, а длительные обучающие задачи уходят в W&B Launch. Трассировку всех сессий, ошибок и вызовов инструментов ведёт Weave, который авторы используют для анализа поведения и запуска ночных эвалов. Кандидатская модель набрала 73% против 72% у продакшн-версии на внутреннем наборе задач, а в конце автор советует логировать трафик, писать задачи-эвалы и привлекать людей как судей, потому что LLM не ловит все поведенческие ошибки.

Практика

Что получишь
Поймёте, как устроен агент Arya и какие части платформы Weights & Biases нужны для автоматического запуска и анализа ML-экспериментов, чтобы оценить, подходит ли это вашей команде.
Первый шаг
Запросить доступ к Arya в Weights & Biases и открыть её в своём проекте, чтобы попробовать попросить краткую сводку по уже существующим запускам.
Цифры
  • —200 обучающих запусков — столько экспериментов в проекте, на котором автор показывает работу Arya
  • —5,831 и 5,833 — значение loss до и после живой итерации, улучшение не получилось
  • —12 экспериментов — столько Arya запустила внутри одного пакета во время демо
  • —73% против 72% — результат кандидатской модели и продакшн-версии на внутреннем eval-наборе за две ночи до выступления
Честно
Автор — principal engineer в Weights & Biases и Coreweave, и весь доклад продвигает их продукты: Arya, W&B Launch, Weave и Coreweave. Повторить автоисследование можно только внутри платформы W&B с доступом к Launch и GPU, а файлы задач-эвалов и внутренний eval-набор в ролике не приложены. Настройки очередей, YAML-описания задач и интерфейс Arya видны только на экране, так что для повторения придётся смотреть запись.
Если слова незнакомы — 7 терминов

Связки из этого ролика

5 шт.

Компоненты

9 шт.

Формат: сборка на живом примере · для практикующих · уверенность разметки 0.85 · источник