Числа, которые нельзя выдумать: архитектура Kepler

Что в ролике
Финансовые компании до сих пор не доверяют ИИ числовым выводам, потому что модели предсказывают следующий токен, а не считают, и ошибки возникают из трёх источников: не тот документ, не то число из верного документа и устный счёт. В Kepler проблему решают иначе: на этапе препроцессинга код размечает каждый факт и число указателем на уникальный идентификатор, превращая неструктурированные данные в структурированное хранилище. Модель при этом только планирует, какой источник и сущность запросить, а сам поиск и вычисления выполняет детерминированный код, поэтому вывести число, которого нет в базе, модель не может — она обязана разыменовать указатель. После генерации идёт постобработка: проверяются ссылки, и пользователь видит кликабельные чипы, ведущие к исходной строке, а при невозможности подтвердить факт система отказывается выдавать число. Поиск устроен в несколько этапов: сначала ANN плюс BM25 собирают до 200 документов, затем reciprocal ranking и кросс-энкодеры сужают выдачу до 60 релевантных фрагментов. Отдельно спикер подчёркивает безопасность: нужно фильтровать тенантов, проверять, кто вызывает поиск, не отдавать устаревшие данные и не позволять прямому чтению обходить правила. Такой подход снизил долю отказов в продакшене Kepler, и автор призывает проверять у любого AI-вендора, пишет ли модель указатели, проверяет ли каждую ссылку и арифметику и что происходит с числом, взятым из ниоткуда.
Практика
- Что получишь
- Понимание архитектурного подхода к проверяемым числовым выводам и список вопросов для аудита AI-вендоров: от указателей и проверки ссылок до обработки отказов.
- Первый шаг
- Начните с аудита текущего пайплайна: проверьте, может ли модель вывести число, которого нет в источниках, и можно ли кликом по каждой цифре добраться до исходной строки.
- Цифры
- —270 млн долларов — столько венчурных денег за три месяца вложили в формальную верификацию после предыдущего выступления
- —80% финансовых руководителей доверяют цифрам, но 31% находят в них ошибки — статистика спикера
- —200 документов собирает первичный поиск, после reciprocal ranking остаётся 60
- Честно
- Спикер — CEO Kepler и продвигает собственную платформу, поэтому примеры и метрики поданы как продуктовые, без кода и готовых инструкций для повторения. Детали вроде хешей и внутренних пайплайнов упоминаются только на уровне принципов, а цифры вроде 270 млн долларов даны без проверяемых источников. Платных материалов или подписок не требуется.
Если слова незнакомы — 5 терминов
- препроцессингпредварительная обработка документов и фактов перед запросами модели
- указательтехническая ссылка на конкретное место хранения факта, по которой код возвращает значение
- кросс-энкодермодель, которая сравнивает запрос и документ напрямую и оценивает их соответствие
- тенантизолированный клиент или организация внутри мультитенантной системы
- reciprocal rankingспособ объединить несколько ранжированных списков документов в один итоговый список
Связки из этого ролика
4 шт.- RAG
- ANN + BM25
- cross-encoders
- pointer dereferencing
Компоненты
6 шт.Формат: разбор · для продвинутых · уверенность разметки 0.88 · источник