Бэктест агентов на вчерашнем интернете: Exa Snapshot

Что в ролике
Если вы строите ИИ-систему, которая принимает решения по данным из интернета, вам нужно проверять её на прошлых данных. Райан Ахерн, full-stack инженер Exa, показывает новый инструмент Exa Snapshot, который позволяет выполнять поиск по состоянию веба на заданную дату. Индекс Exa содержит около 100 миллиардов документов и триллионы URL; Snapshot хранит версии страниц и умеет отвечать на запрос так, как ответил бы в прошлом. Это нужно для бэктеста агентных приложений: например, проверить, увидела бы система признаки скорого поглощения компании за день, неделю или месяц до анонса сделки. Автор приводит примеры из финансов: различие между оценкой выручки OpenAI в 70 и 50 миллиардов долларов и проверка неблагоприятных упоминаний о человеке перед партнёрством. В практической части участники через веб-интерфейс подбирали yes/no-признаки, предсказывающие поглощение, и получали очки за срабатывание за 30 дней до события и штраф за ложные тревоги. Победители показали, как легко переобучить модель на известных примерах, исключив неудобные компании, поэтому автор подчёркивает необходимость holdout-выборки. Инструмент позиционируется как enterprise-фича: публичное использование ограничено, для команд нужно писать автору на почту.
Практика
- Что получишь
- Вы сможете объяснить, чем версионированный поиск отличается от обычного, и собрать схему бэктеста для собственного агента на исторических данных Exa. Если получите доступ к Snapshot, сможете повторить упражнение с предсказанием поглощений.
- Первый шаг
- Открыть документацию Exa или блог (ссылки на экране) и попробовать version search, задав дату, на которую хотите посмотреть веб.
- Цифры
- —100 миллиардов документов и триллионы URL — заявленный размер индекса Exa
- —70 и 50 миллиардов долларов — два варианта оценки годовой выручки OpenAI, которые разбирали как пример неоднозначности данных
- —30 дней — за сколько дней до события предсказание приносило плюс один балл в упражнении
- —20 минут — столько работал один из поисковых запросов, нашедший 3212 издателей видеоигр
- Честно
- Ролик — презентация продукта Exa от их инженера: в конце автор предлагает писать ему на почту для доступа к enterprise-версии Snapshot. Сам инструмент публично доступен ограниченно, ссылка на упражнение и интерфейс видны только на экране. Для повторения нужен доступ к Snapshot, которого у обычного зрителя может не быть.
Если слова незнакомы — 5 терминов
- агентпрограмма, которая сама ищет информацию и выполняет шаги по заданию
- бэктестпроверка модели или стратегии на исторических данных, чтобы понять, как она сработала бы в прошлом
- holdout-выборкаотложенный набор примеров, на котором модель не обучалась и по которому проверяют её честность
- индексбаза данных всех найденных страниц, по которой поисковик ищет ответы
- enterprise-фичафункция, доступная по корпоративной подписке, а не всем пользователям
Компоненты
7 шт.Формат: пошаговый урок · для практикующих · уверенность разметки 0.75 · источник