К содержимому
Дайджест

Grep или эмбеддинги для поиска по документам

AI Engineer·7 октября 2026·23:22
текст даёт основное понять, как устроено промо
Открыть на YouTube
Рассказ инженера LlamaIndex о том, как построить агентный поиск по корпоративным документам: когда хватает grep, а когда нужны эмбеддинги и гибридный RAG.

Что в ролике

Если вам нужно искать по корпоративным документам, где есть PDF, схемы и PowerPoint, простого локального поиска по файлам не хватит: агент быстро упрётся в масштаб и сожжёт токены. Джордж Хе из LlamaIndex разбирает два подхода: grep по локальной файловой системе без пре-индексации против гибридного поиска с эмбеддингами и пересортировкой. Claude Code выбрал первый путь и не использует векторную базу, потому что код компактен, структурирован и всегда на диске, но для тысяч и миллионов файлов компании это не работает. В enterprise-кейсах автор советует гибрид: объединять BM25-поиск по ключевым словам с векторным сходством, а затем переранять топ-100 результатов LLM. Агенту нужны инструменты-примитивы: искать направление через семантический поиск, листить файлы, грепать по паттернам и читать конкретные отрывки, не скачивая весь корпус. Для сложных документов важна предварительная парсинг-обработка: Llama Index предлагает Llama Parse и опенсорсный Light Parse для извлечения таблиц и структуры в Markdown, плюс сохранение скриншотов страниц для пространственного понимания. В демо на 135 файлах отчётов Alphabet агент по запросу о денежных потоках с 2021 по 2025 год сам искал, читал куски и выдал таблицу, опираясь на несколько файлов. Отдельно автор подчёркивает проблемы мультитенантности, прав доступа и свежести данных, из-за чего многие и отказываются от пре-индексации, но решает их через внешнее хранилище turbopuffer и согласование метаданных.

Практика

Что получишь
Понимание, какие инструменты поиска нужны агенту на разных масштабах документов и как сочетать grep, метаданные и семантику, чтобы ответы были обоснованными.
Первый шаг
Начните с оценки объёма и типов ваших документов: до 1000 файлов можно попробовать локальный поиск, дальше — проектировать пре-индексацию и гибридный поиск.
Цифры
  • —135 файлов — столько документов (отчёты Alphabet, HTML и PDF) загружено в демо-корпус
  • —1 млн токенов — размер контекстного окна современных моделей; раньше было 200 тыс. и 100 тыс.
  • —100–1000 файлов — порог, до которого можно обойтись локальным поиском без пре-индексации
Честно
Автор — глава инженерии LlamaIndex, поэтому в разборе продвигает продукты компании (Llama Parse, Light Parse) и внешнее векторное хранилище turbopuffer как рекомендованные. Конкретных инструкций по настройке пайплайна в ролике нет, демо показывает только интерфейс и результаты, а многие детали (код, точные настройки парсинга) остаются за кадром.
Если слова незнакомы — 5 терминов

Связки из этого ролика

1 шт.

Компоненты

8 шт.

Формат: разбор · для практикующих · уверенность разметки 0.9 · источник