Jev: модель, которая не пишет, а решает

Что в ролике
Если вы платите за API там, где нужен просто ответ «да» или «нет» — спам ли письмо, в какую категорию отнести тикет, — автор разбирает модель Jev от TypeSafe AI, которая принципиально не пишет текст. Jev выдаёт решение и вероятность за 70–500 мс, чаще всего около 100 мс, а выходных токенов у него нет вовсе, поэтому вход стоит 42 доллара за миллиард токенов, а выход бесплатен. На вход идут состояние программы и типизированные вопросы трёх видов: выбор из 255 вариантов, оценка по 2–10 уровням и null — одна вероятность того, что утверждение верно. Громкую цифру в 193,6 раза быстрее автор проверяет: сравнение шло с нерассуждающими моделями, запущенными с ноутбука на западном побережье США на задачах самой TypeSafe, и компания сама признаёт возможную предвзятость. По точности на четырёх задачах Jev совпал с эталоном в 67,8% случаев против 67,9% у GPT-5.6 Terra и 74,1% у GPT-5.6 Soul, а на обработке счетов — 61,8% против 79,1%, причём эталон — это усреднение ответов GPT-6 Astra и Claude Fable 5.1, а не истина. Открытый клон на одном RTX 3090 поверх Qwen 3.5 4B с чтением логитов напрямую дал 1,023 секунды против 5,332 секунды при записи ответа JSON-массивом, то есть ускорение 5,21 раза, но на MMLU-Pro клон набирает 58,8% против 82,9% у Jev. Сам автор предупреждает о девяти слабостях со страницы jaggedness: модель не считает, читает даты как текст, путается на большом состоянии с лишними деталями, а вероятность утверждения и вероятность его отрицания не дают в сумме единицу. Экономика простая: тысяча входных токенов на вызов и миллион вызовов в месяц дают 42 доллара за месяц, а лимит — 1200 запросов в минуту и 250 000 токенов в секунду.
Практика
- Что получишь
- Сможете понять, где такая модель действительно экономит — маршрутизация, ранжирование, выбор инструмента, — и по каким цифрам проверять обещания вендора, прежде чем встраивать её в продакшн.
- Первый шаг
- Посчитайте, сколько решений в вашем коде уже принимает дешёвая модель, и прикиньте их число за месяц.
- Цифры
- —42 доллара за миллиард входных токенов и бесплатный выход — вся цена Jev, потому что выходных токенов физически нет
- —70–500 мс на одно решение, чаще всего около 100 мс — реальная скорость вместо заявленного ускорения
- —193,6 раза быстрее — цифра из запуска, которую сравнивали с нерассуждающими моделями на задачах самой TypeSafe
- —42 доллара за месяц — столько стоят миллион вызовов по тысяче входных токенов каждый
- Честно
- Своего продукта и ссылок автор не продвигает, но и независимых замеров в ролике нет: ключевые цифры взяты из материалов TypeSafe и постов отдельных разработчиков. Повторять тут нечего — это разбор, а не инструкция, а автор в конце обещает продолжение про продакшн-пайплайны. Отдельно стоит помнить вывод ролика: схема гарантирует только форму ответа, поэтому пороги уверенности надо тестировать на своих данных.
Если слова незнакомы — 4 терминов
- токенкусочек текста, которым считают объём работы и цену запроса
- логитысырые оценки модели по каждому варианту ответа до превращения в проценты
- состояние программытекущие данные приложения, которые отправляют модели вместо переписки
- MMLU-Proнабор тестовых вопросов, по которому сравнивают способности моделей
Связки из этого ролика
5 шт.- Jev + Claude Code (плагин) — каждый вызов инструмента оценивается и лишние отбрасываются: сессия сжалась с примерно 1 млн токенов до 86 000 за секунду
- Jev + чатбот без языковой модели — Jev выбирает инструмент и аргумент, обычный код исполняет; выключение света за 300 мс, потому что ответ нигде не записывается
- Qwen 3.5 4B + чтение логитов напрямую на RTX 3090 — открытый клон Jev: 1,023 с против 5,332 с при записи ответа JSON-массивом дают ускорение 5,21×
- Jev + Vercel, Cloudflare и OpenRouter — доступен как эндпоинт с лимитом 1 200 запросов в минуту и 250 000 токенов в секунду
- Свой классификатор на готовых метках — альтернатива Jev там, где решение всегда одно и то же, весов для скачивания нет и данные не должны покидать здание
Компоненты
16 шт.Формат: обзор · для практикующих · уверенность разметки 0.8 · источник