4B-модель обогнала 235B на финансовых вопросах

Что в ролике
Финансовые команды, которым нужен агент для работы с 10-K отчётностью, обычно ждут, что надёжность потребует огромную модель, но Snorkel AI показал обратное: обученный с подкреплением 4-миллиардный Qwen 3 на финансовых вопросах набрал 60% pass@1 против 51% у 235-миллиардной версии. Для этого команда вместе с UC Berkeley Sky Computing Lab собрала FinQA — эксперт-проверенный датасет из 10-K отчётов SEC: из примерно 6900 SQL-таблиц, извлечённых с помощью Qwen 3 30B, сгенерировали по одному вопросу-ответу на таблицу и прогнали через трёхслойную проверку, включая ручную экспертизу. Итоговые сплиты: 4000 примеров в обучении, 500 в валидации и 290 в удерживаемом бенчмарке без пересечения компаний, чтобы модель не запоминала ответы. У frontier-моделей на этих данных нашли типовые провалы — галлюцинации схем и колонок, переполнение контекста запросами вроде SELECT * и неумение выходить из ошибок, когда агент повторяет ту же стратегию. Обучение вели через RLLM-фреймворк: агент в react-цикле с инструментами, оптимизация GRPO и бинарная награда от GPT-5 nano как судьи, около 1000 параллельных сред и восемь H100. Весь прогон обошёлся меньше чем в 500 долларов: 420 на compute и 40 на API судьи, а базовая точность 4B-модели выросла более чем вдвое. Дополнительно проверили перенос на задачи с 2–5 таблицами и на общий бенчмарк вызова инструментов BFCL: многотабличная точность выросла без явного обучения на таких примерах, а общий skill не деградировал. Абляции показали, что простой бинарный сигнал и обучение только на однотабличных данных дали наибольший прирост — узкое место было в дисциплине вызова инструментов, а не в глубине рассуждений.
Практика
- Что получишь
- Поймёшь, как за 500 долларов обучить небольшого финансового агента, который обходит большую модель на специализированных вопросах, и увидишь готовый рецепт из открытого фреймворка RLLM и датасета FinQA. Получишь список типовых ошибок агентов и ориентир, что упрощение награды и данных часто работает лучше усложнения.
- Первый шаг
- Скачать с GitHub артефакты проекта — тренировочные скрипты и синтетические данные FinQA — и прогнать RLLM на доступных H100 или аналогичной машине.
- Цифры
- —60% против 51% — точность 4B-модели против 235B на held-out тесте из 290 экспертных примеров
- —$500 — максимальная стоимость обучения, включая $420 на compute и $40 на API судьи
- —4000 / 500 / 290 — размеры обучающей, валидационной и тестовой выборок FinQA
- —1000 параллельных сред — столько симуляторов запускали одновременно на 8 H100
- Честно
- Автор — research scientist в Snorkel AI, и в конце открыто рекламирует гранты компании на открытые бенчмарки и вакансии; сам проект и артефакты доступны на GitHub и Hugging Face без платного доступа. Для повторения нужен доступ к GPU уровня H100 и API судьи GPT-5 nano, и хотя сумма заявлена как менее 500 долларов, это затраты только на их прогон, а не готовый сервис. Конкретные команды и значения гиперпараметров в транскрипте не зачитываются — они показаны на слайдах, поэтому без открытия материалов ролик не воспроизвести.
Если слова незнакомы — 6 терминов
- pass@1доля случаев, когда первый ответ модели правильный
- 10-Kежегодный финансовый отчёт, который публичные компании сдают в SEC
- SQLязык запросов к таблицам; SELECT * означает выбрать все колонки
- GRPOалгоритм обучения с подкреплением без отдельной модели-критика
- react-циклспособ работы агента: думает, вызывает инструмент, наблюдает результат и повторяет
- APIспособ, которым программы обращаются к сервису по запросу
Компоненты
11 шт.Формат: разбор кейса · для продвинутых · уверенность разметки 0.8 · источник