Банк обучил трансформер на транзакциях ловить мошенничество

Что в ролике
Крупные банки вроде Wells Fargo обрабатывают миллиарды транзакций ежемесячно, и стандартный XGBoost для выявления мошенничества не учитывает всю историю клиента, потому что не видит связи между текущей операцией и прошлыми. Поэтому команда построила собственный foundation model на трансформерах, предобученный с нуля на сырых транзакционных данных без использования готовых весов языковых моделей. Модель decoder-only на 1 млрд параметров использует примерно 100 сырых признаков по пяти измерениям (кто, что, как, когда, где) и обучалась предсказывать следующую транзакцию. Главная сложность оказалась не в архитектуре, а в токенизации: нужно было решить, как кодировать числовые, категориальные и географические признаки в токены, чтобы словарь не раздувался. После предобучения модель дообучили на задаче классификации мошенничества и сравнили с XGBoost: ей удалось одновременно повысить уровень обнаружения и снизить долю ложных срабатываний. Для продакшена важно уложиться в 250 миллисекунд на ответ, и модель оказалась в 10 раз быстрее этого порога. Экономический эффект оценивается в миллионы долларов за счёт снижения числа отклонённых нормальных транзакций и звонков клиентов. Сейчас ту же основу пробуют для кредитного скоринга, антиотмывочных проверок и маркетинга, а следующая версия модели будет на 11 млрд параметров.
Практика
- Что получишь
- Понимание, зачем банку собственный foundation model для табличных данных вместо готовых языковых моделей, и какие выгоды он даёт в снижении ложных срабатываний и ускорении проверки транзакций.
- Первый шаг
- Начать с анализа токенизации табличных данных: выделить минимальный набор сырых признаков и решить, как их превратить в токены, чтобы словарь оставался управляемым.
- Цифры
- —1 млрд параметров — размер первой версии транзакционной модели Wells Fargo
- —100 сырых признаков — столько характеристик транзакций оставили для кодирования вместо тысяч инженерных
- —250 миллисекунд — предельное время на ответ, чтобы успеть отклонить или одобрить транзакцию
- —11 млрд параметров — размер следующей версии модели, над которой работает команда
- Честно
- Автор не рекламирует продукт и не даёт готовый код; это доклад о внутренней разработке Wells Fargo, повторить которую без доступа к банковским данным и GPU-кластеру нельзя. Многие детали (точные параметры обучения, состав данных, полный алгоритм токенизации) показаны только на слайдах или упомянуты вскользь, полного воспроизводимого рецепта в ролике нет.
Если слова незнакомы — 6 терминов
- foundation modelбольшая модель, обученная на широких данных и пригодная для дообучения под разные задачи
- трансформерархитектура нейросети, которая учитывает связи между элементами последовательности через механизм внимания
- XGBoostбиблиотека градиентного бустинга, часто используемая для табличных данных
- токенизацияразбиение данных на дискретные единицы (токены), которым модель сопоставляет вектор
- decoder-onlyархитектура, которая генерирует следующий элемент последовательности, обучаясь предсказывать его по предыдущим
- дообучениедополнительное обучение уже предобученной модели на конкретной задаче
Компоненты
3 шт.Формат: разбор кейса · для продвинутых · уверенность разметки 0.85 · источник