Когда ждать новую модель: опыт Blackstone и Norm AI

Что в ролике
Чтобы запускать агентов в финансовой компании, сначала нужно навести порядок в данных — иначе агенты не смогут получать и переиспользовать информацию. Джон Стечер из Blackstone добавляет, что прямая обработка без ручных шагов по-прежнему важна, а агентов стоит подключать только там, где раньше решения принимал человек. Скотт Уорланд из Norm AI (компания основана в 2023 году) рассказывает, как его команда в 2024 году добавила много ручной структуры в пайплайны, а потом убрала часть этой структуры, когда модели стали агентными. У Norm AI накопились десятки тысяч размеченных экспертами примеров для оценки, и на них сразу проверили новые агентные подходы. Оба спикера вспоминают «горький урок» Рича Саттона 2019 года и пример IBM, где увольнение лингвистов улучшало статистический перевод. Стечер советует не ждать идеальную модель слишком долго, а быстро собирать proof of concept и выбрасывать его, если он не нужен. Главное для производства — встроить агентов в инфраструктуру, кибербезопасность и мониторинг, при этом ключевые части кода Norm AI остаются под ручным контролем.
Практика
- Что получишь
- Понимание, почему в финсервисе агентам нужны выстроенные данные и оценки, и когда разумно отложить проект до более сильной модели.
- Первый шаг
- Взять одну рутинную задачу и быстро собрать proof of concept, не считая токены, как советует Стечер.
- Цифры
- —2023 — год основания Norm AI
- —27 лет — общий стаж Джона Стечера в разработке, упомянутый в разговоре
- —десятки тысяч — столько размеченных экспертами примеров накопилось у Norm AI для оценки моделей
- Честно
- Это панельная дискуссия без пошаговых инструкций, по которой нельзя воспроизвести платформу. Norm AI упоминает свою платформу и аффилированную юридическую фирму Norm Law, а многие детали архитектуры и настроек остаются за кадром.
Если слова незнакомы — 4 терминов
- агентпрограмма, которая получает цель и инструменты и сама проверяет, достигла ли результата
- proof of conceptрабочий прототип для быстрой проверки идеи до полноценного запуска
- оценка (eval)набор эталонных примеров для проверки точности и стабильности модели
- контекстное окнообъём текста, который модель может учитывать за один раз
Компоненты
3 шт.Формат: интервью · для бизнеса · уверенность разметки 0.9 · источник