Jev: быстрая классификация вместо генерации текста

Что в ролике
Большинство решений в софте — это простые задачи классификации, и Jev от Type-Safe AI построен как «system one» модель: она не генерирует текст, а возвращает готовый выбор, оценку или вероятность. В модель передаются неструктурированный текст и типизированные вопросы трёх видов: choice с вариантами, score по шкале и null с вероятностью «да/нет». Автор протестировал Jev через OpenRouter и показал определение языка, тональность по шкале от 0 до 2 и распознавание вопросов даже без вопросительного знака. В практических примерах модель маршрутизировала обращения в биллинг и продажи, определяла, запрошен ли возврат, и реагировала на добавление «right now» повышением оценки срочности примерно до 60–70%. Она также справлялась с детекцией prompt injection, сарказма, PII, спама и выбором инструмента для агента, хотя не извлекает аргументы для вызова. Скорость ответа составляет 70–500 миллисекунд, а 20 задач классификации подряд обошлись чуть больше 0,05 цента. Внутри заявлены новая архитектура, параллельный семплер и метод обучения RLCD, но деталей нет, поэтому проверить заявления о «невозможности галлюцинаций» можно только на практике. Автор считает модель интересной заменой BERT-классификаторам и ждёт открытых аналогов в ближайшие месяцы.
Практика
- Что получишь
- Понимание, как заменить медленные LLM-вызовы на дешёвую типизированную классификацию и где Jev пригодна уже сейчас.
- Первый шаг
- Попробовать модель через OpenRouter по документации с OpenAI-совместимым API и прогнать один из своих кейсов классификации.
- Цифры
- —4,2 цента за миллион входных токенов — цена Jev на OpenRouter, выходные токены бесплатны
- —70–500 миллисекунд — время ответа модели в один проход
- —20 задач классификации подряд обошлись автору чуть больше 0,05 цента
- —около 7 долларов в час — стоимость при 10 запросах в секунду в примере с игрой Doom
- Честно
- Автор не продвигает продукт, но тестирует его вживую и делает выводы по своим демо. В ролике нет архитектурных деталей или бумаги: о внутреннем устройстве и методе RLCD известно только из описания компании. Код демо виден на экране, но готовый репозиторий не указан, поэтому придётся собирать вызовы самому по API.
Если слова незнакомы — 5 терминов
- system oneбыстрая, интуитивная реакция на принятие решений, в отличие от медленного рассуждения
- prompt injectionпопытка обмануть модель через инструкцию, спрятанную внутри входных данных
- PIIперсонально идентифицирующая информация, например имена, адреса или номера документов
- RLCDметод обучения с подкреплением для калиброванных решений, заявленный создателями Jev
- BERTпопулярная архитектура моделей для классификации текста, которую Jev может заменить в части задач
Компоненты
4 шт.Формат: сборка на живом примере · для продвинутых · уверенность разметки 0.85 · источник