К содержимому
Дайджест

LLM прогнозирует Costco: точный ответ, неверные причины

AI Engineer·9 ноября 2026·15:25
текст даёт основное можно повторить
Открыть на YouTube
Запись доклада для инженеров и финансистов о том, как LLM строит финансовую модель для прогноза прибыли Costco и почему точность 4,4% оказалась случайной.

Что в ролике

Задача — выяснить, может ли языковая модель предсказать прибыль компании, и для проверки берут Costco, где членские взносы дают больше половины операционной прибыли, а в июле 2024 года компания впервые с 2017 года подняла цены. Чтобы модель не знала о повышении из обучающих данных, выбрали открытые GPT-LSS-120B и Llama-3.3 70B с датой отсечения до анонса и собрали 214 публичных отчётов в 3 000 фактов с таймстампами. Модель не считала сама: она вернула 14 формул и допущения в структурированном виде, из которых собрали Excel-модель, а инференс после этого занимал 10 миллисекунд. Запустили 16 параллельных сессий GPT-LSS-120B, возвращали ошибки до двух раз, отобрали 5 прошедших проверки сборок, и весь прогон стоил 19 центов. Прогноз роста прибыли составил 560 миллионов долларов за 2 года, а среднее отклонение пяти сборок от реальных отчётов — 4,4% (от 0,7 до 5,2%). Отец-аудитор нашёл, что модель занизила долю executive-членов до 15% вместо раскрытых в отчётности 45% и применила повышение ко всей базе, хотя надо было только к США и Канаде. Две ошибки компенсировали друг друга, поэтому при исправлении только одной из них ошибка выросла до 28%. Главный вывод: помимо инженерных проверок нужны доменные бухгалтерские проверки и эксперт-человек в цикле, который аудирует допущения.

Практика

Что получишь
Поймёте, как LLM превращает отчётность в финансовую модель, почему важна дата отсечения и параллельные прогоны, и что без аудита допущений даже точный на 4,4% прогноз может быть ошибочным.
Первый шаг
Начните с выбора открытой модели, обученной до нужной даты, и попросите её вернуть допущения и формулы в структурированном JSON, как это сделано в докладе.
Цифры
  • —4,4% — среднее отклонение прогноза прибыли от фактических данных Costco (диапазон по пяти сборкам: 0,7–5,2%)
  • —19 центов — столько стоил запуск 16 параллельных сборок финансовой модели
  • —560 миллионов долларов — прогнозируемый прирост прибыли за 2 года, тогда как аудиторский пересчёт дал 450 миллионов
  • —45% — доля executive-членов, указанная в отчётности Costco, которую модель заменила на 15%
Честно
Хассан работает в Together AI и использует их платформу для запуска открытых моделей, так что это демонстрация возможностей работодателя, а не независимая оценка. Готового кода и полного набора из 3 000 фактов в записи нет: таблицы и формулы показаны на слайдах, но выгружаемых материалов не приложено. Для повторения придётся самостоятельно собрать публичные отчёты Costco и написать проверки.
Если слова незнакомы — 4 терминов

Компоненты

7 шт.

Формат: разбор кейса · для практикующих · уверенность разметки 0.9 · источник