Нужна ли векторная БД: пирамида из четырёх уровней

Что в ролике
Если вы проектируете ретрив по знаниям, автор предлагает пирамиду из четырёх уровней: вообще без извлечения, поиск по ключевым словам через grep, векторный индекс во встроенной базе и отдельная векторная база данных. Нижний уровень — положить всё нужное в контекстное окно модели, что работает для небольшого корпуса, но переполненный контекст может ухудшить точность ответов. Ключевой поиск вроде grep кажется простым, и агентный цикл позволяет искать несколько раз и уточнять запрос, не используя эмбеддинги. Ещё один аргумент против отдельной векторной БД — стоимость эмбеддингов: документы нужно разбивать и векторизовать при загрузке и при каждом запросе, а при смене модели пересчитывать всё заново. Однако ключевые слова не закрывают семантический разрыв: запрос «How do I reset my password?» и тикет «Credentials Loop After Update» не имеют общих слов, но в пространстве эмбеддингов оказываются соседями. Если семантический поиск всё же нужен, почти все основные базы данных уже поддерживают векторные индексы, поэтому отдельную систему можно не заводить. Но при десятках и сотнях миллионов векторов общая база начинает сдавать по скорости и памяти, и тогда оправдана специализированная векторная база, которая держит миллиарды векторов и отвечает за миллисекунды. Итог: если информация помещается в контекст — забудьте про векторные базы и RAG, если хватает grep-поиска — используйте его через агентов, если возможен семантический разрыв — добавляйте векторный индекс, а полная отдельная векторная БД нужна при очень больших объёмах.
Практика
- Что получишь
- Критерий выбора между контекстным окном, grep-поиском, векторным индексом во встроенной базе и отдельной векторной БД для вашего сценария ретрива. Поймёте, на каком уровне пирамиды находится ваш корпус и какие затраты несёт каждый уровень.
- Первый шаг
- Оцените объём своего корпуса: если он помещается в контекстное окно используемой модели, начните с варианта без отдельного поиска, иначе проверьте, решает ли задачу обычный grep-поиск по ключевым словам.
- Цифры
- —1973 — год появления grep, о котором говорят как о простой альтернативе векторному поиску
- —в 1000 раз больше текста — настолько выросло контекстное окно передовых моделей по сравнению с несколькими годами ранее
- —несколько килобайт памяти — столько занимает один эмбеддинг, поэтому встроенные индексы выдерживают небольшие объёмы
- —миллиарды векторов и миллисекунды — целевые объём и скорость ответа специализированной векторной базы данных
- Честно
- Рекламы конкретных продуктов, курсов или партнёрских ссылок в ролике нет, это образовательный разбор от канала IBM Technology. Схема пирамиды и примеры показаны на экране, но все ключевые формулировки есть в речи. Цифры про миллиарды векторов и миллисекунды — ориентиры, конкретных бенчмарков автор не приводит.
Если слова незнакомы — 7 терминов
- ретривпоиск и извлечение нужных фрагментов информации из хранилища
- grepконсольная утилита для поиска строк по регулярному выражению
- эмбеддингичисловые векторы, представляющие смысл текста для поиска похожих фраз
- контекстное окнообъём текста, который модель может принять за один запрос
- агентный циклповторение поиска агентом с уточнением запроса до получения нужного результата
- семантический разрывразница между словами запроса и словами в документах при одинаковом смысле
- RAGподход, при котором модель получает найденные фрагменты документов в промпте для ответа
Связки из этого ролика
2 шт.- RAG
- agentic search
Компоненты
3 шт.Формат: разбор · для практикующих · уверенность разметки 0.9 · источник