К содержимому
Дайджест

Честный бенчмарк векторных баз: 10 млрд векторов

Better Stack·24 сентября 2026·12:39
текст даёт основное выбрать инструмент
Открыть на YouTube
Технический разбор нового открытого бенчмарка Qdrant FineWeb 10B и практический замер четырёх векторных баз для тех, кто выбирает движок под поиск или RAG.

Что в ролике

Если вы выбираете векторную базу под проект, ориентироваться на вендорские бенчмарки почти бесполезно: всё у всех быстрое, пока данные влезают в память, а правильные ответы требуют точного перебора. Qdrant выпустил датасет FineWeb 10B: 10 млрд векторов из веб-страниц, 24,5 терабайта эмбеддингов, бесплатно на Hugging Face, а весь пайплайн открыт под лицензией Apache 2. Каждый документ в нём эмбеддирован дважды моделью GTE multilingual base: в dense-вектор, который кодирует смысл, и в sparse-вектор, который кодирует термины, поэтому можно сравнивать и гибридный поиск. Для 120 000 запросов — 100 000 плотных из MS Marco, по 10 000 разреженных и с фильтрами — авторы вычислили точный ground truth: топ-10 000 ближайших документов по порядку, а на это ушло больше квадриллиона вычислений расстояний. Автор видео проверил пайплайн на срезе в миллион векторов: поднял в Docker Qdrant, Milvus, Elasticsearch и pgvector, на каждый движок прогонял пять настроек усилия поиска и замерял recall и задержку. При точности 94% Elasticsearch ответил за 7,5 мс, Qdrant — за 9,5 мс, Milvus — за 12,5 мс, а pgvector — за 13 мс, но Elasticsearch выше 95% точности не поднялся, тогда как Qdrant и Milvus дотянули до 98%. Это всё равно срез на миллионе векторов, а не полные 10 млрд, поэтому кривые могут измениться на тысячекратном масштабе, но сам датасет и открытый инструмент Supernova позволяют повторить замеры на своих данных и проверить опубликованные цифры.

Практика

Что получишь
Поймёте, почему вендорским бенчмаркам векторных баз нельзя верить на слово и какие два параметра действительно важны — масштаб и точный ground truth. Сможете скачать FineWeb 10B или прогнать собственный корпус через открытый тулинг Supernova и сравнить движки по кривой recall/задержка.
Первый шаг
Начать со среза датасета на Hugging Face: скачать миллион векторов, пересчитать точный ground truth инструментом Nova BF на своей машине и прогнать один движок по пяти настройкам усилия поиска.
Цифры
  • —10 млрд векторов и 24,5 терабайта — размер бесплатного датасета FineWeb 10B
  • —120 000 запросов, включая 100 000 плотных из MS Marco и по 10 000 разреженных и фильтрованных, — объём ground truth
  • —7,5 мс против 13 мс — при точности 94% Elasticsearch ответил быстрее всех, а pgvector медленнее всех из четырёх
  • —95% и 98% — потолок точности Elasticsearch и достигнутая точность Qdrant с Milvus соответственно
Честно
Qdrant — вендор векторной базы, и корпус, модель эмбеддингов и набор запросов выбраны им, поэтому это всё ещё вендорский бенчмарк, пусть и с проверяемым ground truth. Показанные в ролике замеры сделаны на срезе в 1 млн векторов, а не на полных 10 млрд, так что кривые при продакшен-масштабе не гарантированы. Better Stack не рекламирует свой продукт в этом видео напрямую, но это канал компании, а скрипт для запуска показан без построчного разбора.
Если слова незнакомы — 6 терминов

Компоненты

7 шт.

Формат: обзор · для практикующих · уверенность разметки 0.9 · источник