Как трейдинговая фирма запускает новые ИИ-модели за день

Что в ролике
Вместо длинных метрик, как в потребительских сервисах, Optiver обнуляет баланс каждое утро и уже к вечеру видит влияние решений на прибыль, поэтому платформа строится вокруг быстрых итераций и модульности. Компания делает более 10 млн сделок в день и держит инфраструктуру on-prem, а внешним остаётся только инференс сторонних моделей с нулевым хранением данных. Новую frontier-модель команда стремится запускать в боевые сценарии в тот же день: прогоняет её по внутренним golden-наборам и сравнивает с бенчмарками команд, а затем публикует рекомендации. Чтобы держать расходы под контролем, инженеры нашли, что сессии по умолчанию тянут около 200 тысяч токенов контекста, и сократили это через MCP tool search, CLI-обёртки, настройку кэширования и вынос знаний в базы. Вместо разрозненных хаков они собрали веб-портал с чатами, артефактами и комнатами, где агенты разных команд могут работать вместе, а трейдеры сами присылают код в PR. Основной вывод: расходы на токены растут, но те же токены должны давать больше ROI, и почти всегда в одном сеансе остаётся неиспользованная ценность. В вопросах автор признаёт, что универсального решения для knowledge base нет и их гибрид пока не устраивает, а разросшихся агентов лучше делить на узкие версии и связывать через agent gateway.
Практика
- Что получишь
- Понимание, как трейдинговая компания строит модульную AI-платформу с быстрым бенчмаркингом и контролем стоимости токенов, и какие оптимизации дают экономию.
- Первый шаг
- Начать с аудита контекста своих AI-сессий и посмотреть, сколько токенов уходит на системный промпт и MCP-контекст до первых запросов.
- Цифры
- —более 10 млн сделок в день — нагрузка, под которую Optiver строит платформу
- —около 200 тысяч токенов контекста — столько тянули сессии по умолчанию до оптимизаций
- —10+ локаций — столько офисов у компании, поэтому нужна круглосуточная поддержка
- —1 день — целевое время от выхода новой frontier-модели до её запуска в боевых сценариях
- Честно
- Ролик не продаёт курс или продукт, но в конце автор зовёт на стенд Optiver и networking-мероприятие, то есть отчасти работает на найм и бренд компании. Конкретные конфиги, суммы расходов и внутренние бенчмарки видны только на слайдах и в речь не попали, поэтому повторить платформу по ролику нельзя.
Если слова незнакомы — 8 терминов
- frontier-модельновейшая и самая мощная коммерческая языковая модель
- on-premинфраструктура в собственных дата-центрах компании, а не в облаке
- инференсвыполнение запросов к обученной модели
- golden-наборэталонный набор примеров или задач, по которому проверяют качество модели
- MCP tool searchпоиск по инструментам, подключённым через Model Context Protocol, чтобы не подгружать их все сразу в контекст
- agent gatewayединый реестр и точка связи между агентами компании
- knowledge baseбаза знаний, из которой агент берёт нужный контекст вместо загрузки всего подряд
- ROIокупаемость вложений, здесь — отдача от потраченных токенов
Связки из этого ролика
5 шт.- on-prem GPU infrastructure
- inference gateway
- agent platform
- MCP
- knowledge base
Компоненты
4 шт.Формат: разбор · для продвинутых · уверенность разметки 0.88 · источник