Olaya: бесплатный локальный аналог TypeSafe Jev

Что в ролике
Если вы обрабатываете тысячи обращений и просите обычную языковую модель отвечать «да/нет» или выбирать категорию, вы платите за генерацию полного текста и ждёте лишние миллисекунды. TypeSafe Jev стала первой моделью нового типа — decision-моделью, которая за один проход отвечает на вопросы выбора, оценки и бинарные вопросы и возвращает вероятности вместо плоского ответа, обучаясь через reinforcement learning for calibrated decisions. Через несколько недель появился открытый проект Olaya: он не обучает свою модель, а упаковывает существующие открытые decision-модели и раздаёт их локально, повторяя API Jev настолько точно, что официальный SDK TypeSafe можно переключить на свою машину одной переменной окружения. В комплекте четыре модели: Leia от Convi Innovations отвечает за 8–10 мс на видеокарте и имеет версии на 421 и 322 млн параметров, а Decider на базе Qwen даёт ответ за 150–200 мс в версиях 0,8B и 2B. Отдельно идут zero-shot классификатор NLI и Glickless, который эффективен при большом числе категорий. Для точности Olaya публикует собственные замеры: конвертированная Leia совпала с оригиналом на 2400 вопросах в 100% случаев, а ошибка калибровки составила 0,081 против 0,246 у Jev, хотя это сравнение из разных источников, а не один нейтральный тест. Установка однофайловая через скрипт, Docker или десктоп-приложение, а использовать можно из терминала командой olaya run, через HTTP API или по MCP из Claude Code, Claude Desktop и Cursor. Важно: скорость 8–10 мс завязана на Nvidia GPU, на Mac всё работает только на процессоре, сам проект молодой с несколькими коммитами, так что для продакшена его стоит проверять отдельно.
Практика
- Что получишь
- Запускать локальные decision-модели для классификации текста с оценкой уверенности без платы за API и без отправки данных наружу. Понимать, чем отличаются Leia, Decider, NLI и Glickless и как выбрать модель под скорость или точность.
- Первый шаг
- Установите Olaya через однострочный скрипт с GitHub и выполните `olaya run` с любым текстом, чтобы увидеть ответ и уверенность модели.
- Цифры
- —8–10 мс — время ответа модели Leia на одной видеокарте Nvidia, быстрее одного кадра видео при 60 кадрах в секунду
- —0,081 против 0,246 — ошибка калибровки Leia и Jev, меньше значит лучше
- —2 400 вопросов — на стольких проверяли конвертированную Leia, ответы совпали в 100% случаев
- —421 млн параметров — у английской Leia, у мультиязычной 322 млн
- Честно
- Прямой рекламы в ролике нет, но автор просит подписаться и ставит ссылки на репозиторий Olaya и сайт Jev в описании. Заявленные цифры скорости и калибровки опубликованы самим проектом Olaya, а не независимым тестом, и проект ещё очень молодой. Команды, вывод таблиц и настройки показываются на экране, поэтому для повторения стоит открыть видео или документацию.
Если слова незнакомы — 6 терминов
- decision-модельмодель, которая сразу выдаёт категорию или ответ и уровень уверенности, а не генерирует текст
- калибровканасколько заявленная уверенность модели совпадает с реальной долей правильных ответов
- MCPпротокол, позволяющий AI-ассистентам и агентам вызывать внешние инструменты
- APIинтерфейс, через который программы обмениваются данными по сети
- zero-shot классификацияспособ относить текст к категориям, которым модель не обучали явно
- SDKнабор готовых библиотек для вызова сервиса из кода
Связки из этого ролика
2 шт.- Python
- JavaScript
Компоненты
8 шт.Формат: обзор · для практикующих · уверенность разметки 0.85 · источник