К содержимому
Дайджест

Jev в агентном харнессе: быстрые решения вместо LLM

Sam Witteveen·29 сентября 2026·20:25
текст даёт основное понять, как устроено
Открыть на YouTube
Разбор практического применения decision-моделей Jev и открытых аналогов для тех, кто строит агентные харнессы и хочет ускорить служебные решения без потери качества.

Что в ролике

Если вы собираете агентный харнесс и на каждую проверку «какой инструмент или навык выбрать» тратите полный вызов большой LLM, автор показывает, как на эти решения поставить Jev и открытые decision-модели. Он разбирает петлю агента и выделяет шесть мест, где быстрые решения уместны: маршрутизация моделей, проверка безопасности перед запуском инструмента, выбор навыков и инструментов, ранжирование результатов, триаж запросов и фильтрация ответов API. В демо с 50 навыками decision-модель сначала выбирает одну из 10 категорий, затем конкретный навык, и только после этого полный навык попадает в контекст. Для RAG автор показывает, как вместо отдельного реранкера можно широко забрать 25 проходов и попросить Jev отобрать топ-5, которые уйдут в большую LLM. Среди ограничений он называет задачи, где нужен текст или многошаговое рассуждение, входы длиннее 100 000 токенов, составные вопросы и уязвимость к prompt injection. Для защиты от впрыска он советует сначала задавать вопрос «есть ли здесь инструкция-ловушка», а критерии для решений задавать самому и прогонять бенчмарки. В конце он показывает, что модель Jev доступна через OpenRouter без вайтлиста TypeSafe, а в LangChain уже есть middleware для таких решений.

Практика

Что получишь
Понимание, в каких местах агентного цикла имеет смысл заменить полный LLM-вызов на дешёвую decision-модель, и два готовых паттерна — каскадный выбор навыков и отбор топ-5 пассажей для RAG.
Первый шаг
Взять свою петлю агента и найти в ней if-решения, которые можно переписать на Jev: например, выбор категории навыков или проверку безопасности аргументов инструмента.
Цифры
  • —6 мест в агентном цикле, где автор советует встраивать decision-модели
  • —50 навыков в демо — 10 категорий по 5 навыков, из которых модель выбирает нужный
  • —25 проходов из поиска — столько кандидатов Jev сужает до топ-5 для отправки в большую LLM
  • —100 000 токенов — порог длины входа, после которого, по словам автора, точность decision-моделей сильно падает
Честно
Прямой рекламы платного продукта автора нет, но часть кода и интерфейса демо видна только на экране, а для повторения понадобятся TypeSafe/OpenRouter и навыки работы с Python. Модель Jev по API TypeSafe доступна не всем без вайтлиста, и автор использует OpenRouter как обходной путь. В конце он просит подписаться и оставить комментарий, но партнёрских ссылок, кроме упоминания OpenRouter и LangChain, не даёт.
Если слова незнакомы — 5 терминов

Связки из этого ролика

2 шт.

Компоненты

7 шт.

Формат: разбор · для практикующих · уверенность разметки 0.9 · источник