Eval: агентный поиск против векторного в коде

Что в ролике
Чтобы не выпускать AI-функции по ощущениям, Джесс из Braintrust разбирает, из чего состоит eval: датасет, задача, система скоринга и эксперименты. Затем она показывает реальный eval, в котором сравнивались векторный поиск и агентный поиск для поиска багов в коде на примере открытого репозитория TypeScript от Microsoft. Датасет собрали из 20 merged PR с заголовками, содержащими fix: для каждого брали родительский коммит с багом и просили Claude сгенерировать задачу по диффу. Векторный поиск превращает код в эмбеддинги и возвращает ближайшие по смыслу куски, а агентный работает как человек — через grep, ls, cat и переходы по вызовам функций. Оба подхода показали одинаковую точность по бинарному скорингу (прошёл тест-сьют TypeScript — 100%, не прошёл — 0%), но векторный поиск обошёлся в четыре раза дороже. При разборе трейсов выяснилось, что векторный агент сделал 26 поисков и всё равно не связал три функции в одном файле, потому что возвращаемые куски кода теряли импорты и вызывающий контекст. Агентный поиск, наоборот, читал полные функции и связывал логику между файлами, что давало больше контекста и меньше лишних вызовов. Автор честно перечисляет слабости eval: маленький датасет, слабая реализация векторного поиска и отсутствие повторных прогонов, поэтому результат стоит воспринимать как иллюстрацию, а не как окончательный вывод.
Практика
- Что получишь
- Поймёте, как собрать eval из датасета, задачи и скоринга, и увидите на конкретном кейсе, почему агентный поиск может быть дешевле векторного при той же точности в задачах поиска багов.
- Первый шаг
- Найдите в открытом репозитории TypeScript от Microsoft несколько merged PR с 'fix' в заголовке, возьмите родительский коммит с багом и сгенерируйте задачу для поиска бага через Claude.
- Цифры
- —4 раза дороже — во столько обошёлся векторный поиск по сравнению с агентным при одинаковой точности
- —26 поисков — столько сделал векторный агент и всё равно не связал три функции в одном файле
- —20 PR — размер датасета для eval из репозитория TypeScript от Microsoft
- —100% или 0% — бинарная оценка: прошёл ли патч тест-сьют TypeScript
- Честно
- Докладчик — сотрудник Braintrust, и в демонстрации используется их интерфейс и SDK, поэтому это частично промо продукта. Сам eval собран на 20 примерах, автор сама называет векторную реализацию слабой и не запускала повторные прогоны, так что цифры нельзя обобщать. Кода для воспроизведения в открытом доступе нет, часть деталей видна только на скриншотах.
Если слова незнакомы — 6 терминов
- evalпроверка AI-системы на наборе задач с числовой оценкой результата
- векторный поискпоиск по смыслу: код и запрос превращаются в эмбеддинги, и выдаются ближайшие куски
- агентный поискпоиск, при котором модель сама запускает команды вроде grep и cat и ходит по файлам, как человек
- эмбеддингичисловые представления текста или кода, отражающие смысл
- LLMбольшая языковая модель, например Claude
- трейсподробный журнал всех шагов, вызовов модели и команд при выполнении задачи
Связки из этого ролика
3 шт.- vector search
- agentic search
- Braintrust + Claude Code
Компоненты
12 шт.Формат: разбор кейса · для практикующих · уверенность разметки 0.9 · источник