К содержимому
Дайджест

Olaya: бесплатный локальный аналог TypeSafe Jev

Panda Making Money·27 сентября 2026·27:01
текст даёт основное выбрать инструмент
Открыть на YouTube
Обзор открытого проекта Olaya — локального рантайма для decision-моделей, совместимого с API TypeSafe Jev, для разработчиков, которые хотят бесплатно классифицировать текст с оценкой уверенности.

Что в ролике

Если вы обрабатываете тысячи обращений и просите обычную языковую модель отвечать «да/нет» или выбирать категорию, вы платите за генерацию полного текста и ждёте лишние миллисекунды. TypeSafe Jev стала первой моделью нового типа — decision-моделью, которая за один проход отвечает на вопросы выбора, оценки и бинарные вопросы и возвращает вероятности вместо плоского ответа, обучаясь через reinforcement learning for calibrated decisions. Через несколько недель появился открытый проект Olaya: он не обучает свою модель, а упаковывает существующие открытые decision-модели и раздаёт их локально, повторяя API Jev настолько точно, что официальный SDK TypeSafe можно переключить на свою машину одной переменной окружения. В комплекте четыре модели: Leia от Convi Innovations отвечает за 8–10 мс на видеокарте и имеет версии на 421 и 322 млн параметров, а Decider на базе Qwen даёт ответ за 150–200 мс в версиях 0,8B и 2B. Отдельно идут zero-shot классификатор NLI и Glickless, который эффективен при большом числе категорий. Для точности Olaya публикует собственные замеры: конвертированная Leia совпала с оригиналом на 2400 вопросах в 100% случаев, а ошибка калибровки составила 0,081 против 0,246 у Jev, хотя это сравнение из разных источников, а не один нейтральный тест. Установка однофайловая через скрипт, Docker или десктоп-приложение, а использовать можно из терминала командой olaya run, через HTTP API или по MCP из Claude Code, Claude Desktop и Cursor. Важно: скорость 8–10 мс завязана на Nvidia GPU, на Mac всё работает только на процессоре, сам проект молодой с несколькими коммитами, так что для продакшена его стоит проверять отдельно.

Практика

Что получишь
Запускать локальные decision-модели для классификации текста с оценкой уверенности без платы за API и без отправки данных наружу. Понимать, чем отличаются Leia, Decider, NLI и Glickless и как выбрать модель под скорость или точность.
Первый шаг
Установите Olaya через однострочный скрипт с GitHub и выполните `olaya run` с любым текстом, чтобы увидеть ответ и уверенность модели.
Цифры
  • —8–10 мс — время ответа модели Leia на одной видеокарте Nvidia, быстрее одного кадра видео при 60 кадрах в секунду
  • —0,081 против 0,246 — ошибка калибровки Leia и Jev, меньше значит лучше
  • —2 400 вопросов — на стольких проверяли конвертированную Leia, ответы совпали в 100% случаев
  • —421 млн параметров — у английской Leia, у мультиязычной 322 млн
Честно
Прямой рекламы в ролике нет, но автор просит подписаться и ставит ссылки на репозиторий Olaya и сайт Jev в описании. Заявленные цифры скорости и калибровки опубликованы самим проектом Olaya, а не независимым тестом, и проект ещё очень молодой. Команды, вывод таблиц и настройки показываются на экране, поэтому для повторения стоит открыть видео или документацию.
Если слова незнакомы — 6 терминов

Связки из этого ролика

2 шт.

Компоненты

8 шт.

Формат: обзор · для практикующих · уверенность разметки 0.85 · источник