Поиск для AI-агентов: точность с 36% до 98%

Что в ролике
Если вы строите AI-агента поверх корпоративных документов — PDF, отчётов, подкастов — классический RAG-пайплайн из OCR, чанкинга, эмбеддингов и векторной базы на больших объёмах теряет смысл, потому что каждый шаг добавляет шум. Аамир Шакир из Mixedbread объясняет, что у одного хедж-фонда точность ответов на таком стеке была 36%, а после перехода на их поиск выросла до 98%. Их система сама разбирает данные, понимает таблицы и картинки визуально и через OCR и layout, и умеет ссылаться на источник bounding box'ами. В основе — late interaction модель, где у документа и запроса несколько эмбеддингов, а не один, что позволяет различать похожие финансовые отчёты. Для сложных вопросов запускается агентный поиск, который делает несколько запросов и работает, по словам автора, не хуже Astra и Fable, но в 40 раз быстрее и дешевле. В результате расход токенов на LLM снижается втрое, потому что агенту не нужно перебирать десятки документов. Компания продаёт этот поиск как API, обещает zero data retention и режим bring your own bucket, а для крупных корпусов даёт бесплатные кредиты на бенчмарк.
Практика
- Что получишь
- Понять, почему обычный RAG-пайплайн не масштабируется на больших корпусах документов, и увидеть, как замена поиска может поднять точность агента с 36% до 98% и снизить расход токенов втрое.
- Первый шаг
- Зарегистрироваться на Mixedbread, загрузить небольшой корпус документов и сравнить точность ответов своего агента с текущим решением.
- Цифры
- —36% — точность ответов агента у хедж-фонда на классическом RAG-стеке
- —98% — точность после перехода на поиск Mixedbread
- —3 раза — во столько снизился расход токенов на LLM после улучшения поиска
- —40 раз — во столько быстрее и дешевле агентный поиск по сравнению с Astra и Fable, по заявлению автора
- Честно
- Это презентация продукта Mixedbread: автор продвигает свой коммерческий API и предлагает бесплатные кредиты для теста. Часть живого демо не загрузилась из-за медленного интернета, поэтому интерфейс и bounding boxes показаны на скриншотах. Все ключевые цифры — 36% до 98%, снижение токенов в 3 раза, выигрыш в 40 раз — заявлены автором без публичной методологии.
Если слова незнакомы — 10 терминов
- RAGretrieval augmented generation, способ давать языковой модели доступ к документам
- OCRраспознавание текста на сканах и изображениях
- чанкингразбиение документа на куски нужного размера
- эмбеддингичисловые векторы, которыми модель описывает смысл текста
- late interactionподход, где сравнение идёт не по одному вектору, а по нескольким
- bounding boxпрямоугольная рамка, показывающая, где в документе найден ответ
- APIинтерфейс для автоматического обращения к сервису из кода
- zero data retentionрежим, при котором провайдер не хранит данные клиента
- bring your own bucketразмещение данных в собственном облачном хранилище клиента
- LLMбольшая языковая модель
Связки из этого ролика
1 шт.- RAG
Компоненты
3 шт.Формат: анонс продукта · для практикующих · уверенность разметки 0.9 · источник