Jev: быстрые типизированные решения вместо LLM

Что в ролике
Jev от Typesafe — это модель решений, а не LLM для генерации текста: она возвращает готовый типизированный ответ с вероятностями, поэтому код ничего не парсит. Автор протестировал её в четырёх сценариях через OpenRouter: маршрутизация 50 поддержки-тикетов одним батчем, защитный фильтр shell-команд, попарное сравнение с Gemini 3,1 Flash Light и GPT-5,5 на 50 тикетах, а также классификация 1000 реальных сообщений из набора banking77. В первом тесте 50 тикетов разложились за полторы секунды и около трети сотой цента, причём все неуверенные ответы ниже 0,85 ушли на ручную проверку, а модель сама пометила спорные. На guardrail-проверке команд Jev поймал все 20 опасных команд, но на 315 командах, включая base64 и hex, без декодирования ошибался: распознал 91%, а после добавления функции декодирования результат вырос до 98,4%. В сравнении на 50 тикетах Jev дал 49 верных ответов, Gemini Flash Light — 48, а GPT-5,5 — 41, причём батч Jev оказался впятеро дешевле Gemini и в 79 раз дешевле GPT-5,5. На 1000 сообщениях banking77 Jev набрал 80% точности, Gemini — 78,5%, а GPT-5,5 — 84,9%, но медианная задержка Jev была 443 миллисекунды против 2,8 секунды у GPT-5,5. Также Jev дал одинаковый ответ при повторном прогоне в 98,9% случаев, а эскалация неуверенных решений к GPT-5,5 поднимала точность до 84,6% при заметно меньшей цене, чем полный прогон дорогой модели.
Практика
- Что получишь
- Поймёте, где Jev заменяет обычные LLM: маршрутизация, guardrail, классификация с вероятностью уверенности и эскалацией. Сможете оценить экономию и ограничения на реальных тестах.
- Первый шаг
- Попробовать Jev через OpenRouter: сделать один запрос с типом choice, передать состояние и критерии, и посмотреть на ответ с вероятностями.
- Цифры
- —4,22 цента за миллион входных токенов — цена Jev, выходные токены бесплатны
- —50 тикетов за полторы секунды и около трети сотой цента — результат батч-маршрутизации Jev
- —98,4% точности на 315 командах после добавления декодирования base64/hex
- —443 миллисекунды против 2,8 секунды — медианная задержка Jev и GPT-5,5 на banking77
- Честно
- Видео спонсировано OpenRouter, и автор даёт партнёрскую ссылку; он тестирует Jev через этот сервис. Jev находится в бете, у него контекст 32 000 токенов и собственный формат API, так что для критичных решений автор советует не использовать. Часть кода и экранные замеры показаны в ролике, но готовые скрипты не приложены.
Если слова незнакомы — 5 терминов
- LLMбольшая языковая модель, которая генерирует текст в ответ на запрос
- guardrailпроверка-фильтр, которая решает, можно ли выполнять действие агенту
- base64способ кодирования данных в текст, чтобы передавать их без потерь
- hexшестнадцатеричное представление данных, тоже нечитаемое без декодирования
- батчгруппа однотипных запросов, отправленных за один вызов вместо многих
Связки из этого ролика
3 шт.- Jev + OpenRouter
- Jev + GPT 5.5
- Jev + Gemini 3.1 Flash Light
Компоненты
5 шт.Формат: обзор · для продвинутых · уверенность разметки 0.88 · источник