Arya: агент W&B для запуска ML-экспериментов

Что в ролике
Если вы вручную запускаете десятки ML-экспериментов и разбираете их результаты, агент Arya от Weights & Biases обещает взять эту рутину на себя. На живом демо в workspace с 200 обучающими запусками автор просит Arya провести ещё один пакет экспериментов, и агент сам отказывается от смены архитектуры, подбирает гиперпараметры и запускает shell-команды. За кулисами работает очередь W&B Launch: она подключает Kubernetes-кластер с GPU, а результаты возвращаются в тот же интерфейс, где виден график снижения loss. Arya умеет по запросу находить паттерны в прогонах, выделять важные параметры вроде batch size и собирать отчёты с встроенными графиками, включая диаграмму важности параметров. Её выпустили и в iOS-приложении, чтобы управлять подбором гиперпараметров с телефона. Во второй части доклада показана архитектура: агент работает в песочнице и обращается к LLM-провайдеру, а длительные обучающие задачи уходят в W&B Launch. Трассировку всех сессий, ошибок и вызовов инструментов ведёт Weave, который авторы используют для анализа поведения и запуска ночных эвалов. Кандидатская модель набрала 73% против 72% у продакшн-версии на внутреннем наборе задач, а в конце автор советует логировать трафик, писать задачи-эвалы и привлекать людей как судей, потому что LLM не ловит все поведенческие ошибки.
Практика
- Что получишь
- Поймёте, как устроен агент Arya и какие части платформы Weights & Biases нужны для автоматического запуска и анализа ML-экспериментов, чтобы оценить, подходит ли это вашей команде.
- Первый шаг
- Запросить доступ к Arya в Weights & Biases и открыть её в своём проекте, чтобы попробовать попросить краткую сводку по уже существующим запускам.
- Цифры
- —200 обучающих запусков — столько экспериментов в проекте, на котором автор показывает работу Arya
- —5,831 и 5,833 — значение loss до и после живой итерации, улучшение не получилось
- —12 экспериментов — столько Arya запустила внутри одного пакета во время демо
- —73% против 72% — результат кандидатской модели и продакшн-версии на внутреннем eval-наборе за две ночи до выступления
- Честно
- Автор — principal engineer в Weights & Biases и Coreweave, и весь доклад продвигает их продукты: Arya, W&B Launch, Weave и Coreweave. Повторить автоисследование можно только внутри платформы W&B с доступом к Launch и GPU, а файлы задач-эвалов и внутренний eval-набор в ролике не приложены. Настройки очередей, YAML-описания задач и интерфейс Arya видны только на экране, так что для повторения придётся смотреть запись.
Если слова незнакомы — 7 терминов
- агентпрограмма, которая сама выполняет шаги и вызывает инструменты по инструкции
- гиперпараметрынастройки обучения модели, которые подбирают вручную или автоматически
- lossошибка модели на данных: чем ниже, тем лучше работает обучение
- batch sizeразмер порции данных, которую модель обрабатывает за один шаг обучения
- эвалыпроверочные задания для оценки качества модели или агента
- трассировказапись всех шагов, вызовов и ошибок в работе агента для разбора
- LLMбольшая языковая модель, на которой работает агент
Связки из этого ролика
5 шт.- Kubernetes
- Coreweave GPUs
- Web client
- iOS client
- LLM providers
Компоненты
9 шт.Формат: сборка на живом примере · для практикующих · уверенность разметки 0.85 · источник