Jev в агентном харнессе: быстрые решения вместо LLM

Что в ролике
Если вы собираете агентный харнесс и на каждую проверку «какой инструмент или навык выбрать» тратите полный вызов большой LLM, автор показывает, как на эти решения поставить Jev и открытые decision-модели. Он разбирает петлю агента и выделяет шесть мест, где быстрые решения уместны: маршрутизация моделей, проверка безопасности перед запуском инструмента, выбор навыков и инструментов, ранжирование результатов, триаж запросов и фильтрация ответов API. В демо с 50 навыками decision-модель сначала выбирает одну из 10 категорий, затем конкретный навык, и только после этого полный навык попадает в контекст. Для RAG автор показывает, как вместо отдельного реранкера можно широко забрать 25 проходов и попросить Jev отобрать топ-5, которые уйдут в большую LLM. Среди ограничений он называет задачи, где нужен текст или многошаговое рассуждение, входы длиннее 100 000 токенов, составные вопросы и уязвимость к prompt injection. Для защиты от впрыска он советует сначала задавать вопрос «есть ли здесь инструкция-ловушка», а критерии для решений задавать самому и прогонять бенчмарки. В конце он показывает, что модель Jev доступна через OpenRouter без вайтлиста TypeSafe, а в LangChain уже есть middleware для таких решений.
Практика
- Что получишь
- Понимание, в каких местах агентного цикла имеет смысл заменить полный LLM-вызов на дешёвую decision-модель, и два готовых паттерна — каскадный выбор навыков и отбор топ-5 пассажей для RAG.
- Первый шаг
- Взять свою петлю агента и найти в ней if-решения, которые можно переписать на Jev: например, выбор категории навыков или проверку безопасности аргументов инструмента.
- Цифры
- —6 мест в агентном цикле, где автор советует встраивать decision-модели
- —50 навыков в демо — 10 категорий по 5 навыков, из которых модель выбирает нужный
- —25 проходов из поиска — столько кандидатов Jev сужает до топ-5 для отправки в большую LLM
- —100 000 токенов — порог длины входа, после которого, по словам автора, точность decision-моделей сильно падает
- Честно
- Прямой рекламы платного продукта автора нет, но часть кода и интерфейса демо видна только на экране, а для повторения понадобятся TypeSafe/OpenRouter и навыки работы с Python. Модель Jev по API TypeSafe доступна не всем без вайтлиста, и автор использует OpenRouter как обходной путь. В конце он просит подписаться и оставить комментарий, но партнёрских ссылок, кроме упоминания OpenRouter и LangChain, не даёт.
Если слова незнакомы — 5 терминов
- агентный харнессобвязка и цикл, который управляет вызовами LLM, инструментами и памятью агента
- decision-модельмодель, которая вместо текста возвращает вероятность выбора из заданных вариантов
- прогрессивное раскрытиеподход, когда полное описание навыка или инструмента загружается только после того, как модель выбрала его
- RAGпоиск по документам и добавление найденных кусков в контекст к LLM
- prompt injectionвредоносная инструкция в тексте, которая заставляет модель изменить своё решение
Связки из этого ролика
2 шт.- Jev + LangChain
- Jev + Pydantic
Компоненты
7 шт.Формат: разбор · для практикующих · уверенность разметки 0.9 · источник