К содержимому
Дайджест

LLM не пишет числа: архитектура проверяемых ответов Kepler

AI Engineer·25 октября 2026·20:58
текст даёт основное понять, как устроено промо
Открыть на YouTube
Запись технического доклада CEO Kepler о том, как устроен пайплайн, который не даёт языковой модели выдумывать числа и делает каждую цифру проверяемой.

Что в ролике

Если вы строите финансовый RAG-инструмент и устали от выдуманных цифр, этот доклад показывает, как Kepler решает проблему на уровне архитектуры, а не подсказками. Генеральный директор Винод Ганеш объясняет, что LLM остаются вероятностными машинами, поэтому модель не должна сама писать числа: она лишь строит план, а детерминированный код выполняет поиск, арифметику и пост-обработку. Kepler обработал более 30 млн документов SEC и выделил около 21 тыс проверяемых цитат фактов — от выручки до чисел из MD&A, каждую из которых можно кликнуть и дойти до исходного документа. На слайде показана связка Turbopuffer: поиск по BM25 и ANN на 1280-мерных эмбеддингах, затем кросс-энкодер для повторного ранжирования и авторизация каждого документа в Postgres. Когда модель предлагает число, платформа сверяет его с реестром цитат и безжалостно удаляет всё, что не удалось подтвердить. На оценках фильтр отказал 10 981 цитате, из которых 3 810 оказались просто неверными числами. В конце автор показывает пример с Apple: рост выручки на 6,4% раскладывается на кликабельные исходные числа и расчёт, и заявляет, что цель компании — избавить аналитиков от ручного переноса данных из PDF в Excel.

Практика

Что получишь
Понимание, почему обычный RAG с прикреплёнными источниками не спасает от выдуманных чисел, и как выглядит архитектура, в которой модель не имеет права писать неподтверждённые цифры.
Первый шаг
Если захотите повторить, начните с отделения детерминированного кода для арифметики и реестра цитат: пусть модель только выбирает источники, а числа считает и проверяет код.
Цифры
  • —30+ млн документов SEC — столько Kepler обработал, чтобы выделить проверяемые цитаты фактов
  • —10 981 цитата не прошла фильтр на оценках, из них 3 810 оказались просто неверными числами
  • —6,4% — показанный на примере Apple рост выручки, который раскладывается на кликабельные исходные числа
Честно
Это доклад CEO Kepler на площадке Turbopuffer, и значительная часть выступления — прямая презентация продукта Kepler: конкретных инструкций по внедрению нет, архитектурный слайд и скриншоты интерфейса видны только на экране, а в пересказе они не воспроизводятся. Докладчик также анонсирует отдельный доклад на основной сцене и приводит собственные цифры оценки фильтра без независимой проверки.
Если слова незнакомы — 6 терминов

Связки из этого ролика

3 шт.

Компоненты

8 шт.

Формат: разбор · для продвинутых · уверенность разметки 0.85 · источник