Обзор AnyJev: бесплатная альтернатива Jev от Nokia

Что в ролике
Автор проверяет AnyJev, библиотеку Nokia, которая превращает открытые LLM в решающие модели без обучения и разметки. Решающая модель не пишет текст, а возвращает вероятности вариантов, и AnyJev делает это, оценивая вероятность первой буквы варианта. В тесте на 500 заголовках из The Onion и HuffPost Jev набрал 80% точности, а открытый Qwen 8B на MacBook — 68,4%, с Bias-коррекцией и без неё почти одинаково. Jev оказался быстрее: 51 секунда на все 500 заголовков, тогда как локальный прогон занял 4 минуты 36 секунд, и обошёлся меньше цента. Основная проблема Qwen — систематический уклон к сатире: он называет сатирой 87% сатирических заголовков, но реальные новости угадывает на 50/50. L0-коррекция AnyJev убирает уклон и порядок вариантов: при одиночных заголовках L0 исправила четыре ошибки из десяти, а на свежих заголовках, наоборот, сломала два верных ответа и точность упала до 60%. Главный вывод: Jev по-прежнему точнее и калиброваннее, но AnyJev бесплатен, работает локально и не отправляет данные наружу, что ценно для приватных датасетов.
Практика
- Что получишь
- Понять, как работают решающие модели и чем бесплатная локальная альтернатива AnyJev отличается от закрытого Jev. Вы сможете сравнить их на своей задаче и решить, стоит ли переходить с закрытого API.
- Первый шаг
- Скачать библиотеку AnyJev с GitHub, обернуть свою открытую модель в Decider и прогнать на нескольких своих примерах, как показано в ролике.
- Цифры
- —80% точности у Jev на 500 заголовках против 68,4% у Qwen и 68,6% у AnyJev L0
- —51 секунда у Jev против 4 минут 36 секунд локального прогона на MacBook
- —87% ответов Qwen имели уверенность 99% и выше, из них 30% оказались ошибочными
- —70% точность AnyJev в раунде с одиночными заголовками против 50% у Jev и 40% у Qwen
- Честно
- Автор не продвигает платных продуктов, но просит подписаться на канал Better Stack и поставить лайк. Повторение требует локального GPU или MacBook с Apple Silicon, а все тестовые данные и код приложения лежат в описании. Уровни AnyJev, которые обучаются на размеченных примерах, автор не тестировал, поэтому выводы касаются только режима без обучения.
Если слова незнакомы — 4 терминов
- LLMбольшая языковая модель, которая пишет текст по словам
- решающая модельмодель, которая вместо текста выдаёт вероятности вариантов ответа
- biasсистематическая ошибка модели, например склонность выбирать один вариант независимо от вопроса
- калибровканасколько уверенность модели совпадает с фактической точностью
Связки из этого ролика
2 шт.- AnyJev + Qwen-3 + llama.cpp
- Jev via TypeSafe API
Компоненты
9 шт.Формат: обзор · для практикующих · уверенность разметки 0.87 · источник