К содержимому
Дайджест

Eval: агентный поиск против векторного в коде

AI Engineer·5 октября 2026·18:15
текст даёт основное можно повторить промо
Открыть на YouTube
Доклад с разбором eval-подхода на примере сравнения агентного и векторного поиска для кодинг-агентов, полезен разработчикам, которые хотят измерять качество AI-систем.

Что в ролике

Чтобы не выпускать AI-функции по ощущениям, Джесс из Braintrust разбирает, из чего состоит eval: датасет, задача, система скоринга и эксперименты. Затем она показывает реальный eval, в котором сравнивались векторный поиск и агентный поиск для поиска багов в коде на примере открытого репозитория TypeScript от Microsoft. Датасет собрали из 20 merged PR с заголовками, содержащими fix: для каждого брали родительский коммит с багом и просили Claude сгенерировать задачу по диффу. Векторный поиск превращает код в эмбеддинги и возвращает ближайшие по смыслу куски, а агентный работает как человек — через grep, ls, cat и переходы по вызовам функций. Оба подхода показали одинаковую точность по бинарному скорингу (прошёл тест-сьют TypeScript — 100%, не прошёл — 0%), но векторный поиск обошёлся в четыре раза дороже. При разборе трейсов выяснилось, что векторный агент сделал 26 поисков и всё равно не связал три функции в одном файле, потому что возвращаемые куски кода теряли импорты и вызывающий контекст. Агентный поиск, наоборот, читал полные функции и связывал логику между файлами, что давало больше контекста и меньше лишних вызовов. Автор честно перечисляет слабости eval: маленький датасет, слабая реализация векторного поиска и отсутствие повторных прогонов, поэтому результат стоит воспринимать как иллюстрацию, а не как окончательный вывод.

Практика

Что получишь
Поймёте, как собрать eval из датасета, задачи и скоринга, и увидите на конкретном кейсе, почему агентный поиск может быть дешевле векторного при той же точности в задачах поиска багов.
Первый шаг
Найдите в открытом репозитории TypeScript от Microsoft несколько merged PR с 'fix' в заголовке, возьмите родительский коммит с багом и сгенерируйте задачу для поиска бага через Claude.
Цифры
  • —4 раза дороже — во столько обошёлся векторный поиск по сравнению с агентным при одинаковой точности
  • —26 поисков — столько сделал векторный агент и всё равно не связал три функции в одном файле
  • —20 PR — размер датасета для eval из репозитория TypeScript от Microsoft
  • —100% или 0% — бинарная оценка: прошёл ли патч тест-сьют TypeScript
Честно
Докладчик — сотрудник Braintrust, и в демонстрации используется их интерфейс и SDK, поэтому это частично промо продукта. Сам eval собран на 20 примерах, автор сама называет векторную реализацию слабой и не запускала повторные прогоны, так что цифры нельзя обобщать. Кода для воспроизведения в открытом доступе нет, часть деталей видна только на скриншотах.
Если слова незнакомы — 6 терминов

Связки из этого ролика

3 шт.

Компоненты

12 шт.

Формат: разбор кейса · для практикующих · уверенность разметки 0.9 · источник