Честный бенчмарк векторных баз: 10 млрд векторов

Что в ролике
Если вы выбираете векторную базу под проект, ориентироваться на вендорские бенчмарки почти бесполезно: всё у всех быстрое, пока данные влезают в память, а правильные ответы требуют точного перебора. Qdrant выпустил датасет FineWeb 10B: 10 млрд векторов из веб-страниц, 24,5 терабайта эмбеддингов, бесплатно на Hugging Face, а весь пайплайн открыт под лицензией Apache 2. Каждый документ в нём эмбеддирован дважды моделью GTE multilingual base: в dense-вектор, который кодирует смысл, и в sparse-вектор, который кодирует термины, поэтому можно сравнивать и гибридный поиск. Для 120 000 запросов — 100 000 плотных из MS Marco, по 10 000 разреженных и с фильтрами — авторы вычислили точный ground truth: топ-10 000 ближайших документов по порядку, а на это ушло больше квадриллиона вычислений расстояний. Автор видео проверил пайплайн на срезе в миллион векторов: поднял в Docker Qdrant, Milvus, Elasticsearch и pgvector, на каждый движок прогонял пять настроек усилия поиска и замерял recall и задержку. При точности 94% Elasticsearch ответил за 7,5 мс, Qdrant — за 9,5 мс, Milvus — за 12,5 мс, а pgvector — за 13 мс, но Elasticsearch выше 95% точности не поднялся, тогда как Qdrant и Milvus дотянули до 98%. Это всё равно срез на миллионе векторов, а не полные 10 млрд, поэтому кривые могут измениться на тысячекратном масштабе, но сам датасет и открытый инструмент Supernova позволяют повторить замеры на своих данных и проверить опубликованные цифры.
Практика
- Что получишь
- Поймёте, почему вендорским бенчмаркам векторных баз нельзя верить на слово и какие два параметра действительно важны — масштаб и точный ground truth. Сможете скачать FineWeb 10B или прогнать собственный корпус через открытый тулинг Supernova и сравнить движки по кривой recall/задержка.
- Первый шаг
- Начать со среза датасета на Hugging Face: скачать миллион векторов, пересчитать точный ground truth инструментом Nova BF на своей машине и прогнать один движок по пяти настройкам усилия поиска.
- Цифры
- —10 млрд векторов и 24,5 терабайта — размер бесплатного датасета FineWeb 10B
- —120 000 запросов, включая 100 000 плотных из MS Marco и по 10 000 разреженных и фильтрованных, — объём ground truth
- —7,5 мс против 13 мс — при точности 94% Elasticsearch ответил быстрее всех, а pgvector медленнее всех из четырёх
- —95% и 98% — потолок точности Elasticsearch и достигнутая точность Qdrant с Milvus соответственно
- Честно
- Qdrant — вендор векторной базы, и корпус, модель эмбеддингов и набор запросов выбраны им, поэтому это всё ещё вендорский бенчмарк, пусть и с проверяемым ground truth. Показанные в ролике замеры сделаны на срезе в 1 млн векторов, а не на полных 10 млрд, так что кривые при продакшен-масштабе не гарантированы. Better Stack не рекламирует свой продукт в этом видео напрямую, но это канал компании, а скрипт для запуска показан без построчного разбора.
Если слова незнакомы — 6 терминов
- эмбеддингчисловое представление текста, в котором похожие по смыслу фразы оказываются рядом
- dense-векторплотный вектор смысла, где близость означает семантическое сходство
- sparse-векторразреженный вектор терминов, ближе к обычному ключевому индексу
- гибридный поискодновременный поиск по смысловым и терминовым векторам
- ground truthэталонный правильный ответ, полученный полным перебором без индексов и приближений
- recallдоля истинно ближайших соседей, которую вернул движок
Компоненты
7 шт.Формат: обзор · для практикующих · уверенность разметки 0.9 · источник