Контекст-движок вместо RAG: дешевле токены, точнее ответы

Что в ролике
Если агент ищет ответы по кодовой базе и документации, RAG закрывает только смысловые вопросы, а структурные запросы вроде «PR, которые я смержил на прошлой неделе» остаются без ответа. Питер из Unblocked показывает контекстный движок, который собирает разрозненные данные — код, PR, Slack, Notion — и выдаёт связанный контекст с учётом прав и задачи. В демо с Claude запрос на оптимизацию компонента без движка обошёлся в $2,60 и 3 минуты, а с движком — $1,29 и полторы минуты, то есть вдвое дешевле и быстрее. Второй кейс: коллега заметил падение числа проблем от код-ревью, спросил Unblocked, и тот нашёл причину — переход с Opus 4,6 на Opus 4,8 изменил поведение, после чего сам создал пул-реквест с объяснением и ссылкой на обсуждение в Slack. Дальше автор собирает open-source движок структурированных запросов: сначала динамически извлекает схему из документов и индексы, затем мапит имена пользователей между системами через fuzzy-сопоставление. На этапе синтеза в промпт LLM уходят схема, текущее время и данные о спрашивающем, чтобы модель генерировала связанный запрос, а валидатор затем блокирует опасные операторы вроде regex и скрывает служебные поля tenant ID. Ошибки валидации возвращаются обратно в LLM в цикле с ограничением повторов, а добавление полнотекстового поиска позволяет находить PR по вхождению в заголовок. Готовый движок поддерживает фильтры, агрегации и временные рамки, а поверх него работает чат-агент, который сам строит запросы и рассуждает над результатами.
Практика
- Что получишь
- Понимание, как устроен гибридный поиск: RAG для смысловых вопросов и движок структурированных запросов для фильтров, агрегаций и временных рамок, а также пошаговую схему сборки такого движка на open-source.
- Первый шаг
- Склонировать open-source репозиторий document query engine, запустить демо и прогнать запросы вроде «PRs by Peter», наблюдая, как pipeline проходит этапы схемы, идентификации и валидации.
- Цифры
- —$1,29 — стоимость выполнения задачи в Claude с контекстным движком
- —$2,60 — стоимость той же задачи без контекстного движка
- —50% — на столько снизилась стоимость в демо с Claude
- —Opus 4,6 и Opus 4,8 — версии модели, смена которых вызвала падение числа замечаний код-ревью
- Честно
- Доклад продвигает коммерческий продукт Unblocked и его open-source проекты: о самом движке рассказано на уровне демо, точный код и значения настроек видны только на экране. Для полного повторения по транскрипту не хватает конкретных промптов и схем, но автор указывает на публичный репозиторий document query engine и симулятор контекстного движка.
Если слова незнакомы — 7 терминов
- RAGподход, при котором модель ищет ответы в базе знаний по смыслу и добавляет найденное в контекст
- LLMбольшая языковая модель, например Claude или Opus
- PR (pull request)предложение изменений в коде, которое проходит ревью перед слиянием
- regexрегулярное выражение, шаблон для поиска текста, который может быть опасен при выполнении на сервере
- tenant IDидентификатор клиента или арендатора, по которому изолируются данные
- fuzzy-сопоставлениенечёткое сравнение строк, позволяющее считать «Peter» и «peter@github» одним человеком
- промпттекст-инструкция для языковой модели
Понадобится экран
Часть информации есть только на экране (код в терминале). Открыть на YouTube с 9:48.
Связки из этого ролика
2 шт.- RAG
- LLM
Компоненты
6 шт.Цитаты-доказательства
дословно из субтитров- this is the repo here. It's called the document query engine.9:48
- First we have to level up to the next and then run.11:31
- So now we've discovered the schema from our um GitHub collection and this is just pull requests.11:44
- So if I now ask a question like this PRs with authentication in the title that is probably going to drive some kind of like regular expression thing and there we go.14:52
Формат: сборка на живом примере · для практикующих · уверенность разметки 0.88 · источник