К содержимому
Дайджест

Локальные decision-модели в Ollama: быстрее Jev

NeuralNine·12 октября 2026·11:25
текст даёт основное можно повторить промо пошагово
Открыть на YouTube
Практический разбор новых decision-моделей Ollama для тех, кто хочет локально классифицировать тексты и изображения без задержек облачных API.

Что в ролике

Если нужно быстро классифицировать письма, оценивать заявки или разбирать миниатюры, локальные decision-модели Ollama закрывают это без задержек облачных API. Ollama добавила категорию decision на странице моделей: это модели для бинарной классификации, многоклассовой классификации и скоринга по шкале — то, что в Jev называется system one. Для старта достаточно поставить Ollama и загрузить TEF 1 0,8B (811 МБ), который работает почти на любом железе. Автор показывает Python-код с моделью TEF 1 0,8B: фраза hello получает confidence 0,91, а общее время ответа 0,23 секунды после прогрева. Для сравнения он запускает одинаковые задачи классификации писем и скоринга спонсорских запросов на TEF, Nimble и Jev: локальные модели отвечают за 1,09–1,7 секунды, Jev — за 2,57, то есть в полтора-два раза медленнее. На устройстве Dell Pro Max с GB10 и 128 ГБ общей памяти автор запускает более крупные модели, включая Clef Flash с поддержкой зрения, и проверяет миниатюры: модель определяет тему, наличие лица и кликбейтность. Все миниатюры с лицами классифицированы верно, а единственная без лица получила ноль по признаку face, темы в основном совпали с ожидаемыми.

Практика

Что получишь
Готовый сценарий локальной классификации и скоринга с примерами кода и сравнительными замерами скорости, который можно повторить на своём железе.
Первый шаг
Установите Ollama и загрузите модель TEF 1 0,8B, затем скопируйте Python-пример со страницы модели.
Цифры
  • —811 МБ — размер модели TEF 1 0,8B, которая работает почти на любом железе
  • —0,23 секунды — время ответа TEF 1 0,8B на классификацию текста после прогрева
  • —2,57 секунды — время Jev на тех же задачах; локальные модели уложились в 1,09–1,7 секунды
  • —128 ГБ — объём общей памяти Dell Pro Max с GB10, на котором запускались крупные и vision-модели
Честно
Автор в конце продвигает свои услуги: вкладка services на его сайте с контактом для фриланса и консалтинга, но спонсорской интеграции в самом видео нет. Примеры кода доступны на странице модели в разделе Python, однако полный репозиторий со скриптами не приложен — код виден на экране и его нужно переносить вручную. Для модели 0,8B хватит обычного компьютера, а для крупных и vision-моделей автор использует Dell Pro Max с 128 ГБ памяти, поэтому на слабом железе они могут не запуститься.
Если слова незнакомы — 6 терминов

Связки из этого ролика

2 шт.

Компоненты

4 шт.

Формат: пошаговый урок · для практикующих · уверенность разметки 0.9 · источник