LLM не пишет числа: архитектура проверяемых ответов Kepler

Что в ролике
Если вы строите финансовый RAG-инструмент и устали от выдуманных цифр, этот доклад показывает, как Kepler решает проблему на уровне архитектуры, а не подсказками. Генеральный директор Винод Ганеш объясняет, что LLM остаются вероятностными машинами, поэтому модель не должна сама писать числа: она лишь строит план, а детерминированный код выполняет поиск, арифметику и пост-обработку. Kepler обработал более 30 млн документов SEC и выделил около 21 тыс проверяемых цитат фактов — от выручки до чисел из MD&A, каждую из которых можно кликнуть и дойти до исходного документа. На слайде показана связка Turbopuffer: поиск по BM25 и ANN на 1280-мерных эмбеддингах, затем кросс-энкодер для повторного ранжирования и авторизация каждого документа в Postgres. Когда модель предлагает число, платформа сверяет его с реестром цитат и безжалостно удаляет всё, что не удалось подтвердить. На оценках фильтр отказал 10 981 цитате, из которых 3 810 оказались просто неверными числами. В конце автор показывает пример с Apple: рост выручки на 6,4% раскладывается на кликабельные исходные числа и расчёт, и заявляет, что цель компании — избавить аналитиков от ручного переноса данных из PDF в Excel.
Практика
- Что получишь
- Понимание, почему обычный RAG с прикреплёнными источниками не спасает от выдуманных чисел, и как выглядит архитектура, в которой модель не имеет права писать неподтверждённые цифры.
- Первый шаг
- Если захотите повторить, начните с отделения детерминированного кода для арифметики и реестра цитат: пусть модель только выбирает источники, а числа считает и проверяет код.
- Цифры
- —30+ млн документов SEC — столько Kepler обработал, чтобы выделить проверяемые цитаты фактов
- —10 981 цитата не прошла фильтр на оценках, из них 3 810 оказались просто неверными числами
- —6,4% — показанный на примере Apple рост выручки, который раскладывается на кликабельные исходные числа
- Честно
- Это доклад CEO Kepler на площадке Turbopuffer, и значительная часть выступления — прямая презентация продукта Kepler: конкретных инструкций по внедрению нет, архитектурный слайд и скриншоты интерфейса видны только на экране, а в пересказе они не воспроизводятся. Докладчик также анонсирует отдельный доклад на основной сцене и приводит собственные цифры оценки фильтра без независимой проверки.
Если слова незнакомы — 6 терминов
- LLMбольшая языковая модель, которая предсказывает текст по вероятностям, а не считает числа
- RAGподход, при котором модель ищет ответ в документах, а не отвечает по памяти
- BM25классический поисковый алгоритм, который ищет точные совпадения слов
- ANNприближённый поиск ближайших соседей, быстрый поиск похожих векторов
- эмбеддингичисловые векторы смысла текста для поиска похожих фрагментов
- кросс-энкодермодель, которая сравнивает пару запрос-документ точнее, чем векторный поиск
Связки из этого ролика
3 шт.- hybrid search with BM25 and ANN
- LLM + deterministic retrieval + citation registry
- Turbopuffer + Postgres
Компоненты
8 шт.Формат: разбор · для продвинутых · уверенность разметки 0.85 · источник