Поиск по 100 млн документов с учётом прав за 120 мс

Что в ролике
Если вы строите внутреннего ИИ-аналитика, который ищет по корпоративным документам, главная проблема — права доступа: публичный веб одинаков для всех, а внутренние письма и отчёты у каждого пользователя свои. Bridgewater Associates использует хранилище Vault на 100 миллионов документов из 135 внешних источников и внутренних материалов, и первая самодельная выдача при росте объёма быстро перестала справляться. TurboPuffer строит поиск поверх объектного хранилища S3, поэтому холодные данные почти ничего не стоят, а горячие кэшируются в SSD или память; прямой перебор 100 миллионов документов по килобайту занял бы 5 секунд, тогда как нужно около 100 миллисекунд. Обычный векторный индекс ускоряет поиск похожих документов, но при фильтрации по правам либо теряется выдача, либо приходится сканировать все доступные пользователю документы. TurboPuffer разбивает векторы на кластеры примерно по 200 документов и строит индексы прав так, чтобы отбрасывать целые кластеры без доступа, а затем ищет внутри доступных. В результате на 450 миллионах векторов поиск с учётом прав занимает 120 миллисекунд (P90). Для пользователя это сводится к простому языку фильтров вида viewers contains one или groups contains any B, C, а вложенные группы остаются ограничением.
Практика
- Что получишь
- Поймёте, почему обычный векторный поиск не работает с правами доступа, и как TurboPuffer сочетает кластеризацию и индексы прав для задержки 120 мс на 450 млн векторов.
- Первый шаг
- Начните с просмотра кода-примера из доклада, где права доступа переводятся в фильтры TurboPuffer, и проверьте, как ваши группы и прямые доступы ложатся на этот язык.
- Цифры
- —100 млн — документов в Vault у Bridgewater, к которым нужен поиск с правами
- —135 — внешних источников данных подключено к Vault
- —5 секунд — прямой перебор 100 млн документов по 1 КБ в памяти, что слишком медленно
- —120 мс — задержка P90 поиска с учётом прав на 450 млн векторов
- Честно
- Доклад — прямая презентация продукта TurboPuffer вместе с клиентом Bridgewater, поэтому цифры производительности и кейс поданы вендором. На экране виден только упрощённый код фильтров, полный пример запроса не показан. Вложенные группы остаются нерешённой проблемой, и авторы просят обращаться к ним отдельно.
Если слова незнакомы — 4 терминов
- объектное хранилище S3облачное хранилище файлов, где данные почти ничего не стоят, пока не нужны
- векторный индексструктура, группирующая похожие по смыслу документы для быстрого поиска
- кластергруппа из примерно 200 близких векторов, которую можно отбросить целиком при отсутствии прав
- P9090-й процентиль задержки: время, за которое отвечают 90% запросов
Связки из этого ролика
3 шт.- object storage
- vector search
- LLM
Компоненты
8 шт.Формат: разбор кейса · для продвинутых · уверенность разметки 0.85 · источник