Открытые аналоги Jev: 6 проектов и бенчмарк

Что в ролике
Автор разбирает открытые аналоги Jev — универсального классификатора, который заменяет дообучение под каждую задачу чтением логитов вариантов ответа. За сутки появилось 20–30 проектов, а бенчмарк Jev bench ставит оригинальный Jev на 75,3 балла, Sem If на Qwen 3.5 4B без обучения — сразу за ним. Bespoke Nimble добавляет LoRA к Qwen 3.5 9B и сделан через contrastive curation на 3000 примерах с переворотом одного факта: на holdout 90%, но на hard tier 44%. Decider от Mapika читает скрытые состояния Qwen 3.5 и отвечает в формате Type Safe API со средней скоростью 33 миллисекунды. Diffusion Gemma 26B обрабатывает 16 тикетов почти мгновенно, но автор считает модель недотренированной, а Nano Jev на 600 млн параметров играет в змейку. Leila использует modern BERT large около 420 млн параметров, работает в Colab на T4. По выводу автора открытые версии близки на простых задачах, но для многошаговых и дат лучше каскад: быстрая модель принимает всё, неуверенные случаи уходят в reasoning-модель.
Практика
- Что получишь
- Понимание, какие открытые аналоги Jev реально работают, их скорость, точность и компромиссы; готовые варианты для локального запуска без обучения.
- Первый шаг
- Начать с Sem If на frozen Qwen 3.5 4B и повторить чтение логитов для своей задачи «выбор из вариантов».
- Цифры
- —75,3 балла — общий скор Jev в Jev bench
- —44% — точность Bespoke Nimble на hard tier против 93% у Jev
- —33 миллисекунды — средняя скорость ответа Decider
- —600 млн параметров — размер Nano Jev, играющего в змейку
- Честно
- Автор не продаёт курс, но ролик спонсирован Dell, а все демо запущены на их рабочей станции. Интерфейс, JSON-ответы и значения скоров видны только на экране. Ссылки на репозитории в описании, но готовых инструкций по установке в видео нет.
Если слова незнакомы — 6 терминов
- логитысырые оценки модели для каждого варианта до превращения в вероятности
- LoRAметод дообучения, который добавляет небольшую надстройку к модели вместо полного обучения
- holdoutотложенные примеры, на которых проверяют качество
- contrastive curationсоставление пар почти одинаковых примеров, где один факт меняет правильный ответ
- reasoning-модельмодель, которая тратит время на пошаговое рассуждение, в отличие от быстрой классификации
- BERTкласс моделей для понимания текста, который давно используют для классификации
Связки из этого ролика
4 шт.- NVIDIA RTX Pro 6000 Blackwell
- Dell T2 Pro Max workstation
- DGX Spark
- Google Colab T4
Компоненты
12 шт.Формат: обзор · для продвинутых · уверенность разметки 0.9 · источник