RAG для 6000 страниц регламентов: точные ответы со ссылками

Что в ролике
Опыт будет полезен тем, кто строит вопросно-ответную систему поверх сотен PDF с таблицами и требованиями точных ссылок. Команда In The Pocket обрабатывает 270 PDF-регламентов на 6000 страниц, разбивает текст на чанки до 2000 символов без разрыва таблиц и проставляет каждому чанку путь раздела, номер страницы и имя документа. Таблицы конвертируют в CSV с дублированием объединённых ячеек, чтобы агент не путал строки и столбцы при вопросах о комиссиях. Для поиска объединяют dense embeddings и BM25 через RRF: dense даёт топ-50 по смыслу, BM25 — топ-50 по точным кодам, после ранжирования агенту уходит топ-10, и hit rate на 63 вопросах вырос с 92 до 97 процентов. Сам агент имеет четыре инструмента увеличения контекста — от топ-10 чанков до целого раздела или небольшого документа, а полный регламент отдаёт только при размере меньше 100 тысяч токенов. Ответы стримятся как Markdown, а карточка источника добавляется после завершения, иначе пользователь ждал бы 38 секунд пустого экрана. С июня и до момента доклада накопили 900 вопросов от 34 человек, и более 90 процентов вопросов к третьему месяцу стали реальными, а не попытками сломать бота.
Практика
- Что получишь
- Понимание, как устроен production RAG для финансовых регламентов: от разбиения PDF и обработки таблиц до гибридного поиска и агентных инструментов.
- Первый шаг
- Начните с обработки таблиц: превратите PDF-таблицы в CSV с дублированием объединённых ячеек и проверьте, не теряется ли структура.
- Цифры
- —270 PDF и 6000 страниц — объём регламентов, на которых построен RAG
- —38 секунд — среднее время ответа агента, из-за чего ключевым стало потоковое отображение
- —97 процентов — hit rate гибридного поиска на 63 оценочных вопросах против 92 у dense-only
- —900 вопросов от 34 пользователей — статистика использования с июня до момента доклада
- Честно
- Это доклад, а не инструкция: кода и полных промптов нет, часть деталей (регулярки для заголовков, структура Pydantic-моделей, конкретные настройки Azure) видна только на слайдах. Система построена для неназванного бельгийского финтех-клиента, повторить её вне доступа к тем же PDF нельзя. Авторы не продают свой продукт, но рассказывают о работе своей компании In The Pocket.
Если слова незнакомы — 8 терминов
- RAGпоиск ответов по своим документам и генерация ответа моделью с опорой на найденное
- чанкфрагмент документа, на который разрезают текст для поиска
- BM25классический текстовый поиск, хорошо ловит точные коды и номера
- dense embeddingsчисловые векторы смысла, которые находят перефразированные формулировки
- RRFспособ объединить два списка результатов поиска без ручной настройки весов
- агентпрограмма, которая сама выбирает и вызывает инструменты для ответа
- токенединица текста, которую модель читает за один шаг, примерно часть слова
- hit rateдоля вопросов, для которых правильный документ оказался среди найденных
Связки из этого ролика
4 шт.- RAG
- hybrid search
- dense embeddings
- BM25
Компоненты
4 шт.Формат: разбор кейса · для практикующих · уверенность разметки 0.85 · источник