Jev-роутер: экономим токены, прячем PII и ускоряем ответы

Что в ролике
Если нужно отправлять разные запросы к подходящим моделям по типу, сложности и наличию личных данных, можно собрать роутер на Jev — модели, которая не генерирует текст, а возвращает вероятности ответов на заданные вопросы. Автор строит локальный сервис с тремя типами вопросов: choice для категории (чат, код, изображение), score для оценки сложности и null для проверки на приватность. Запросы с личными данными остаются на локальной модели mini CPM 5 2B, кодовые и сложные уходят в облачный DeepSeek V4.1 Flash, а генерация картинок идёт через локальный Qwen Image 2.1 с переписыванием промпта. Jev стоит 4 цента за миллион входных токенов и отвечает за 70–500 мс, не беря плату за выходные токены. Для полной приватности автор заменяет облачный Jev на открытую локальную модель SEM IF, которая выполняет те же проверки за 88 мс. Интерфейс собран на Next.js, сервер — на FastAPI, логи пишутся в SQLite, а статистика показывает 53 запроса и 75% обработанных локально.
Практика
- Что получишь
- Понимание, как использовать Jev или его открытые клоны для классификации запросов, оценки сложности и детекции приватных данных, и на основе этого направлять их к подходящим моделям, экономя токены и деньги.
- Первый шаг
- Зарегистрироваться в Jev (или запустить локально SEM IF), отправить тестовый запрос с вопросами choice, score и null, чтобы увидеть возвращаемые вероятности.
- Цифры
- —4 цента за миллион входных токенов — цена Jev без платы за выходные токены
- —70–500 мс — диапазон времени ответа Jev на запрос
- —53 запроса — столько обработал роутер после перезапуска, из них 75% локально
- —88 мс — время выполнения проверок локальной моделью SEM IF
- Честно
- Jev — облачный сервис, и отправка ему промптов может раскрыть данные, поэтому для приватных задач нужно использовать локальную открытую версию, как показано в видео. Полный код автор не выкладывает, только показывает демо, но обещает выложить на GitHub, если будет интерес. Модель Qwen Image 2.1 имеет некоммерческую лицензию, а часть настроек (пороги, системный промпт) видна только на экране.
Если слова незнакомы — 6 терминов
- Jevмодель от Typesafe AI, которая не генерирует текст, а возвращает вероятности ответов на типизированные вопросы
- роутерпрограмма, которая направляет запросы к разным моделям в зависимости от правил
- PIIперсональные идентифицируемые данные (имена, телефоны, ключи API)
- APIинтерфейс, через который программы общаются друг с другом
- FastAPIPython-фреймворк для быстрого создания веб-API
- входные токеныединицы текста, за обработку которых модель берёт плату
Связки из этого ролика
2 шт.- Next.js + FastAPI + SQLite + SGLang + OpenRouter
- Jev + MiniCPM 5 2B + Qwen Image 2.1 + DeepSeek 4.1 Flash
Компоненты
15 шт.Формат: сборка на живом примере · для практикующих · уверенность разметки 0.9 · источник