К содержимому
Дайджест

4B-модель обогнала 235B на финансовых вопросах

AI Engineer·10 октября 2026·17:16
текст даёт основное можно повторить промо
Открыть на YouTube
Доклад с AI-конференции от Snorkel AI о том, как обучить небольшого финансового агента с подкреплением, для ML-инженеров и исследователей, которые хотят дешевле внедрять специализированных агентов.

Что в ролике

Финансовые команды, которым нужен агент для работы с 10-K отчётностью, обычно ждут, что надёжность потребует огромную модель, но Snorkel AI показал обратное: обученный с подкреплением 4-миллиардный Qwen 3 на финансовых вопросах набрал 60% pass@1 против 51% у 235-миллиардной версии. Для этого команда вместе с UC Berkeley Sky Computing Lab собрала FinQA — эксперт-проверенный датасет из 10-K отчётов SEC: из примерно 6900 SQL-таблиц, извлечённых с помощью Qwen 3 30B, сгенерировали по одному вопросу-ответу на таблицу и прогнали через трёхслойную проверку, включая ручную экспертизу. Итоговые сплиты: 4000 примеров в обучении, 500 в валидации и 290 в удерживаемом бенчмарке без пересечения компаний, чтобы модель не запоминала ответы. У frontier-моделей на этих данных нашли типовые провалы — галлюцинации схем и колонок, переполнение контекста запросами вроде SELECT * и неумение выходить из ошибок, когда агент повторяет ту же стратегию. Обучение вели через RLLM-фреймворк: агент в react-цикле с инструментами, оптимизация GRPO и бинарная награда от GPT-5 nano как судьи, около 1000 параллельных сред и восемь H100. Весь прогон обошёлся меньше чем в 500 долларов: 420 на compute и 40 на API судьи, а базовая точность 4B-модели выросла более чем вдвое. Дополнительно проверили перенос на задачи с 2–5 таблицами и на общий бенчмарк вызова инструментов BFCL: многотабличная точность выросла без явного обучения на таких примерах, а общий skill не деградировал. Абляции показали, что простой бинарный сигнал и обучение только на однотабличных данных дали наибольший прирост — узкое место было в дисциплине вызова инструментов, а не в глубине рассуждений.

Практика

Что получишь
Поймёшь, как за 500 долларов обучить небольшого финансового агента, который обходит большую модель на специализированных вопросах, и увидишь готовый рецепт из открытого фреймворка RLLM и датасета FinQA. Получишь список типовых ошибок агентов и ориентир, что упрощение награды и данных часто работает лучше усложнения.
Первый шаг
Скачать с GitHub артефакты проекта — тренировочные скрипты и синтетические данные FinQA — и прогнать RLLM на доступных H100 или аналогичной машине.
Цифры
  • —60% против 51% — точность 4B-модели против 235B на held-out тесте из 290 экспертных примеров
  • —$500 — максимальная стоимость обучения, включая $420 на compute и $40 на API судьи
  • —4000 / 500 / 290 — размеры обучающей, валидационной и тестовой выборок FinQA
  • —1000 параллельных сред — столько симуляторов запускали одновременно на 8 H100
Честно
Автор — research scientist в Snorkel AI, и в конце открыто рекламирует гранты компании на открытые бенчмарки и вакансии; сам проект и артефакты доступны на GitHub и Hugging Face без платного доступа. Для повторения нужен доступ к GPU уровня H100 и API судьи GPT-5 nano, и хотя сумма заявлена как менее 500 долларов, это затраты только на их прогон, а не готовый сервис. Конкретные команды и значения гиперпараметров в транскрипте не зачитываются — они показаны на слайдах, поэтому без открытия материалов ролик не воспроизвести.
Если слова незнакомы — 6 терминов

Компоненты

11 шт.

Формат: разбор кейса · для продвинутых · уверенность разметки 0.8 · источник