Почему Datasite перестал строить свой парсинг

Что в ролике
Datasite — площадка, через которую проходит 60% сделок дороже 100 млн долларов, и её технический директор Радж Бахру объясняет, почему компания перестала строить собственный парсер документов. Его стартап Blue Flame, купленный Datasite, сначала строил собственный ingestion pipeline, но столкнулся с бесконечными edge case: объединённые ячейки в финансовых таблицах, неправильно прочитанные оттенки на легендах диаграмм и так далее. Поддержка таких случаев съедала время инженеров, и команда решила передать извлечение данных Reducto, а своих разработчиков направить на revenue-проекты. Масштаб Datasite — около 55 000 дата-румов в год, сотни миллиардов страниц и 500 000 активных пользователей ежемесячно — требовал быстрого и точного парсинга. Бенчмарк показал, что Reducto улучшает recall на 22% по сравнению с прежним решением, поэтому весь контент прогоняется через Reducto, а затем попадает в векторную базу Turbo Buffer и графовый RAG. Для контроля качества компания использует собственный бенч VDR bench: несколько сотен вопросов по эталонному дата-руму, который прогоняется при каждом изменении, чтобы результат был лучше, чем у frontier-лабораторий. Оставшиеся трудности связаны с выбором моделей: например, одна дешёвая модель делает лишние инструментальные вызовы, а более дорогая — нет, поэтому приходится балансировать стоимость, скорость и качество. Радж подчёркивает, что при выручке около миллиарда и цели расти на 20% в год нужно генерировать 200 млн долларов нового дохода ежегодно, поэтому 250 инженеров распределены по пяти ключевым инициативам, а не на поддержку парсинга.
Практика
- Что получишь
- Практический пример buy-vs-build для парсинга документов в M&A: какие метрики и аргументы привели к отказу от собственного решения и переходу на Reducto.
- Первый шаг
- Если вы строите подобный пайплайн, начните с бенчмарка вашего текущего извлечения: соберите набор сложных документов (финансовые таблицы, диаграммы) и сравните recall с внешним парсером вроде Reducto.
- Цифры
- —60% сделок дороже 100 млн долларов проходят через Datasite
- —55 000 — столько дата-румов Datasite обрабатывает за год
- —22% — на столько улучшился recall после перехода на парсинг Reducto по внутренним бенчмаркам
- —200 млн долларов дополнительной выручки нужно генерировать Datasite ежегодно, чтобы расти на 20% при обороте около 1 млрд долларов
- Честно
- Разговор организован Reducto: один из ведущих — сооснователь Reducto, и пример Datasite используется как история успеха этого вендора. Конкретные цифры улучшения recall (22%) взяты из внутренних бенчмарков Datasite и не подтверждены независимо. Настройки VDR bench и интеграции показаны только на словах, без кода на экране.
Если слова незнакомы — 6 терминов
- ingestion pipelineконвейер приёма, обработки и загрузки документов в систему
- recallполнота извлечения данных — доля правильно найденных элементов из всех, что нужно было найти
- RAGretrieval-augmented generation, метод, при котором модель сначала ищет релевантные фрагменты документов и отвечает на их основе
- edge caseнетипичный, редкий случай, который ломает общее правило обработки
- дата-румзащищённое онлайн-хранилище документов для сделки M&A, доступное только участникам сделки
- frontier-лабораторииведущие исследовательские лаборатории, создающие передовые ИИ-модели
Связки из этого ролика
1 шт.- Reducto + Turbo Buffer + graph RAG
Компоненты
6 шт.Формат: интервью · для бизнеса · уверенность разметки 0.9 · источник