К содержимому
Дайджест

Как Ramp оценивает ИИ-агента для бухгалтерии до клиентов

AI Engineer·8 ноября 2026·18:39
можно прочитать понять, как устроено промо
Открыть на YouTube
Доклад с практическим разбором построения оценок для ИИ-агента в бухгалтерии, полезный ML-инженерам и техническим лидам, которые запускают агентов в нестандартных доменах.

Что в ролике

Если вы строите агента для учёта или другого процесса, вам нужен способ измерять качество до реальных пользователей. Райан Стивенс из Ramp рассказывает, как его команда создавала оценку для Stacks — ИИ-агента для бухгалтерии. Сначала они разбили работу бухгалтера на задачи: сверка счетов, ввод данных, анализ отклонений, начисления и графики. Для каждой задачи построили синтетические компании-миры с ERP, списками клиентов и поставщиков, счетами к оплате. Оценка агента идёт по 10–20 критериям на задачу, а метрики — точность с частичным зачётом и pass@k, где важна полная правильность. На подготовку таких эвалов ушло 4–6 месяцев, но затем они используются для выбора модели (Opus показала лучший результат), поиска слабых мест и регрессионного тестирования. Автор отдельно отмечает, что авто-исследование и авто-настройка навыков не дали результата, а отключение навыков и «память из траекторий» — дали. Все эксперименты прогоняются регулярно, и бот в Slack сообщает о регрессиях.

Практика

Что получишь
Поймёте, как разбить процесс на задачи, собрать синтетические данные и построить метрики для агента до продакшена; увидите, какие эксперименты по оптимизации сработали, а какие нет.
Первый шаг
Выпишите ключевые задачи вашего процесса и для одной из них определите 10–20 критериев успеха, затем соберите синтетический датасет.
Цифры
  • —70 000+ бизнесов — столько клиентов у Ramp на момент доклада
  • —4–6 месяцев ушло на создание оценок до запуска агента
  • —10–20 критериев успеха использовали для каждой задачи
  • —67% точности в примере: агент выполнил 4 из 6 критериев
Честно
Это конференционный доклад без кода и готовых датасетов: конкретные таблицы, графики и числа на слайдах в транскрипт не попали, поэтому часть значений передана со слов. Автор продвигает подход Ramp и продукт Stacks, но не продаёт курс или сообщество; партнёрство с Mercor указано как рабочий контракт, без партнёрской ссылки.
Если слова незнакомы — 4 терминов

Связки из этого ролика

4 шт.

Компоненты

3 шт.

Формат: разбор · для продвинутых · уверенность разметки 0.87 · источник