Как Ramp оценивает ИИ-агента для бухгалтерии до клиентов

Что в ролике
Если вы строите агента для учёта или другого процесса, вам нужен способ измерять качество до реальных пользователей. Райан Стивенс из Ramp рассказывает, как его команда создавала оценку для Stacks — ИИ-агента для бухгалтерии. Сначала они разбили работу бухгалтера на задачи: сверка счетов, ввод данных, анализ отклонений, начисления и графики. Для каждой задачи построили синтетические компании-миры с ERP, списками клиентов и поставщиков, счетами к оплате. Оценка агента идёт по 10–20 критериям на задачу, а метрики — точность с частичным зачётом и pass@k, где важна полная правильность. На подготовку таких эвалов ушло 4–6 месяцев, но затем они используются для выбора модели (Opus показала лучший результат), поиска слабых мест и регрессионного тестирования. Автор отдельно отмечает, что авто-исследование и авто-настройка навыков не дали результата, а отключение навыков и «память из траекторий» — дали. Все эксперименты прогоняются регулярно, и бот в Slack сообщает о регрессиях.
Практика
- Что получишь
- Поймёте, как разбить процесс на задачи, собрать синтетические данные и построить метрики для агента до продакшена; увидите, какие эксперименты по оптимизации сработали, а какие нет.
- Первый шаг
- Выпишите ключевые задачи вашего процесса и для одной из них определите 10–20 критериев успеха, затем соберите синтетический датасет.
- Цифры
- —70 000+ бизнесов — столько клиентов у Ramp на момент доклада
- —4–6 месяцев ушло на создание оценок до запуска агента
- —10–20 критериев успеха использовали для каждой задачи
- —67% точности в примере: агент выполнил 4 из 6 критериев
- Честно
- Это конференционный доклад без кода и готовых датасетов: конкретные таблицы, графики и числа на слайдах в транскрипт не попали, поэтому часть значений передана со слов. Автор продвигает подход Ramp и продукт Stacks, но не продаёт курс или сообщество; партнёрство с Mercor указано как рабочий контракт, без партнёрской ссылки.
Если слова незнакомы — 4 терминов
- ERPсистема учёта ресурсов предприятия, где хранятся финансовые данные
- pass@kметрика, показывающая, за сколько попыток агент полностью решает задачу
- синтетические данныеискусственно созданные данные, имитирующие реальных клиентов и операции
- эвалынаборы тестов для проверки качества агента
Связки из этого ролика
4 шт.- Ramp
- Shopify
- Amazon
- ERP
Компоненты
3 шт.Формат: разбор · для продвинутых · уверенность разметки 0.87 · источник