Grep или эмбеддинги для поиска по документам

Что в ролике
Если вам нужно искать по корпоративным документам, где есть PDF, схемы и PowerPoint, простого локального поиска по файлам не хватит: агент быстро упрётся в масштаб и сожжёт токены. Джордж Хе из LlamaIndex разбирает два подхода: grep по локальной файловой системе без пре-индексации против гибридного поиска с эмбеддингами и пересортировкой. Claude Code выбрал первый путь и не использует векторную базу, потому что код компактен, структурирован и всегда на диске, но для тысяч и миллионов файлов компании это не работает. В enterprise-кейсах автор советует гибрид: объединять BM25-поиск по ключевым словам с векторным сходством, а затем переранять топ-100 результатов LLM. Агенту нужны инструменты-примитивы: искать направление через семантический поиск, листить файлы, грепать по паттернам и читать конкретные отрывки, не скачивая весь корпус. Для сложных документов важна предварительная парсинг-обработка: Llama Index предлагает Llama Parse и опенсорсный Light Parse для извлечения таблиц и структуры в Markdown, плюс сохранение скриншотов страниц для пространственного понимания. В демо на 135 файлах отчётов Alphabet агент по запросу о денежных потоках с 2021 по 2025 год сам искал, читал куски и выдал таблицу, опираясь на несколько файлов. Отдельно автор подчёркивает проблемы мультитенантности, прав доступа и свежести данных, из-за чего многие и отказываются от пре-индексации, но решает их через внешнее хранилище turbopuffer и согласование метаданных.
Практика
- Что получишь
- Понимание, какие инструменты поиска нужны агенту на разных масштабах документов и как сочетать grep, метаданные и семантику, чтобы ответы были обоснованными.
- Первый шаг
- Начните с оценки объёма и типов ваших документов: до 1000 файлов можно попробовать локальный поиск, дальше — проектировать пре-индексацию и гибридный поиск.
- Цифры
- —135 файлов — столько документов (отчёты Alphabet, HTML и PDF) загружено в демо-корпус
- —1 млн токенов — размер контекстного окна современных моделей; раньше было 200 тыс. и 100 тыс.
- —100–1000 файлов — порог, до которого можно обойтись локальным поиском без пре-индексации
- Честно
- Автор — глава инженерии LlamaIndex, поэтому в разборе продвигает продукты компании (Llama Parse, Light Parse) и внешнее векторное хранилище turbopuffer как рекомендованные. Конкретных инструкций по настройке пайплайна в ролике нет, демо показывает только интерфейс и результаты, а многие детали (код, точные настройки парсинга) остаются за кадром.
Если слова незнакомы — 5 терминов
- агентпрограмма, которая сама выполняет шаги по поиску и чтению, а не просто отвечает на вопрос
- эмбеддингичисловые представления смысла текста, по которым можно находить похожие документы
- BM25классический алгоритм поиска по ключевым словам с учётом их частоты
- LLMбольшая языковая модель, например GPT или Claude
- RAGпоиск по базе знаний и добавление найденного в промпт модели, чтобы ответ опирался на документы
Связки из этого ролика
1 шт.- hybrid RAG
Компоненты
8 шт.Формат: разбор · для практикующих · уверенность разметки 0.9 · источник