К содержимому
Дайджест

Jev-роутер: экономим токены, прячем PII и ускоряем ответы

Sam Witteveen·21 сентября 2026·19:19
текст даёт основное можно повторить
Открыть на YouTube
Практический разбор построения маршрутизатора запросов к разным моделям с помощью Jev и открытых альтернатив, для разработчиков и тех, кто хочет оптимизировать расходы на LLM.

Что в ролике

Если нужно отправлять разные запросы к подходящим моделям по типу, сложности и наличию личных данных, можно собрать роутер на Jev — модели, которая не генерирует текст, а возвращает вероятности ответов на заданные вопросы. Автор строит локальный сервис с тремя типами вопросов: choice для категории (чат, код, изображение), score для оценки сложности и null для проверки на приватность. Запросы с личными данными остаются на локальной модели mini CPM 5 2B, кодовые и сложные уходят в облачный DeepSeek V4.1 Flash, а генерация картинок идёт через локальный Qwen Image 2.1 с переписыванием промпта. Jev стоит 4 цента за миллион входных токенов и отвечает за 70–500 мс, не беря плату за выходные токены. Для полной приватности автор заменяет облачный Jev на открытую локальную модель SEM IF, которая выполняет те же проверки за 88 мс. Интерфейс собран на Next.js, сервер — на FastAPI, логи пишутся в SQLite, а статистика показывает 53 запроса и 75% обработанных локально.

Практика

Что получишь
Понимание, как использовать Jev или его открытые клоны для классификации запросов, оценки сложности и детекции приватных данных, и на основе этого направлять их к подходящим моделям, экономя токены и деньги.
Первый шаг
Зарегистрироваться в Jev (или запустить локально SEM IF), отправить тестовый запрос с вопросами choice, score и null, чтобы увидеть возвращаемые вероятности.
Цифры
  • —4 цента за миллион входных токенов — цена Jev без платы за выходные токены
  • —70–500 мс — диапазон времени ответа Jev на запрос
  • —53 запроса — столько обработал роутер после перезапуска, из них 75% локально
  • —88 мс — время выполнения проверок локальной моделью SEM IF
Честно
Jev — облачный сервис, и отправка ему промптов может раскрыть данные, поэтому для приватных задач нужно использовать локальную открытую версию, как показано в видео. Полный код автор не выкладывает, только показывает демо, но обещает выложить на GitHub, если будет интерес. Модель Qwen Image 2.1 имеет некоммерческую лицензию, а часть настроек (пороги, системный промпт) видна только на экране.
Если слова незнакомы — 6 терминов

Связки из этого ролика

2 шт.

Компоненты

15 шт.

Формат: сборка на живом примере · для практикующих · уверенность разметки 0.9 · источник