Зачем компаниям обучать свои AI-модели

Что в ролике
У организаций много неявных знаний, которые живут в головах сотрудников и между строк писем, а агенты сейчас обучаются в основном через контекст и каждый раз заново перечитывают одни и те же данные, тратя токены. Чтобы агенты стали настоящими коллегами, часть этих знаний нужно переносить в веса модели через обучение, а правила и предпочтения можно рассматривать как код и данные. Сейчас путь от эксперта до обучающей выборки проходит через экспертные сети, создателей RL-сред и исследователей, и на каждом этапе теряется прямая связь с человеком, который знает задачу. Практичный старт — собирать трассы работы агентов, превращать их в эвалы и относиться к модели как к кодовой базе, которую можно тестировать и дополнять. Маршрутизация между большой и малой моделями и модели решений на основе одобрений дают размеченные сигналы для постепенного обучения. Компания Paper Instruments обучила модель для офисной работы за 300 тысяч долларов, что сравнимо с наймом инженера, и это показывает, что такие проекты становятся доступными. В перспективе Уилл Браун предлагает ночные тренировочные запуски на свободных GPU, когда днём те же мощности обслуживают агентов, а организация накапливает знания и становится самосовершенствующейся.
Практика
- Что получишь
- Поймёте, чем собственное обучение моделей отличается от промптинга и какие шаги — трассы, эвалы, маршрутизация — ведут к накоплению институциональных знаний.
- Первый шаг
- Начните собирать трассы и логи работы своих агентов, чтобы на их основе сделать первые эвалы и небольшие обучающие данные.
- Цифры
- —300 тысяч долларов — стоимость обучения модели Paper Instruments для работы с таблицами и слайдами, сравнимая с наймом инженера
- —6 месяцев — свежесть знаний, которой не хватает моделям без дообучения, по словам спикера
- —20 ботов — пример количества агентов, между которыми приходится переключаться и которые нужно координировать
- Честно
- Автор руководит applied research в Prime Intellect и в конце приглашает обращаться в компанию, которая продаёт AI-инфраструктуру и работает с организациями, поэтому доклад частично продвигает её подход. Готового кода и пошаговых инструкций в выступлении нет, интерфейсы прототипов видны только на слайдах. Для повторения понадобятся собственные данные и вычислительные мощности, деталей в транскрипте недостаточно.
Если слова незнакомы — 10 терминов
- агентыпрограммы, которые сами выполняют многошаговые задачи
- токеныединицы текста, которые модель обрабатывает и за которые вы платите
- контекстное обучениеспособ, при котором модель использует переданные в промпте примеры и инструкции, не меняя свои веса
- веса моделичисловые параметры, которые меняются при обучении и хранят усвоенные знания
- RL-средсреды для обучения с подкреплением, где модель получает вознаграждение за действия
- трассызаписи запусков агента: промпты, действия и результаты, которые можно разбирать
- эвалынаборы проверочных заданий для оценки качества модели
- маршрутизациявыбор между дорогой и дешёвой моделью в зависимости от сложности запроса
- модели решенийнебольшие модели, обученные повторять решения человека в типовых ситуациях
- GPUграфические процессоры, на которых обучают и запускают модели
Компоненты
4 шт.Формат: мнение · для продвинутых · уверенность разметки 0.9 · источник