Локальные decision-модели в Ollama: быстрее Jev

Что в ролике
Если нужно быстро классифицировать письма, оценивать заявки или разбирать миниатюры, локальные decision-модели Ollama закрывают это без задержек облачных API. Ollama добавила категорию decision на странице моделей: это модели для бинарной классификации, многоклассовой классификации и скоринга по шкале — то, что в Jev называется system one. Для старта достаточно поставить Ollama и загрузить TEF 1 0,8B (811 МБ), который работает почти на любом железе. Автор показывает Python-код с моделью TEF 1 0,8B: фраза hello получает confidence 0,91, а общее время ответа 0,23 секунды после прогрева. Для сравнения он запускает одинаковые задачи классификации писем и скоринга спонсорских запросов на TEF, Nimble и Jev: локальные модели отвечают за 1,09–1,7 секунды, Jev — за 2,57, то есть в полтора-два раза медленнее. На устройстве Dell Pro Max с GB10 и 128 ГБ общей памяти автор запускает более крупные модели, включая Clef Flash с поддержкой зрения, и проверяет миниатюры: модель определяет тему, наличие лица и кликбейтность. Все миниатюры с лицами классифицированы верно, а единственная без лица получила ноль по признаку face, темы в основном совпали с ожидаемыми.
Практика
- Что получишь
- Готовый сценарий локальной классификации и скоринга с примерами кода и сравнительными замерами скорости, который можно повторить на своём железе.
- Первый шаг
- Установите Ollama и загрузите модель TEF 1 0,8B, затем скопируйте Python-пример со страницы модели.
- Цифры
- —811 МБ — размер модели TEF 1 0,8B, которая работает почти на любом железе
- —0,23 секунды — время ответа TEF 1 0,8B на классификацию текста после прогрева
- —2,57 секунды — время Jev на тех же задачах; локальные модели уложились в 1,09–1,7 секунды
- —128 ГБ — объём общей памяти Dell Pro Max с GB10, на котором запускались крупные и vision-модели
- Честно
- Автор в конце продвигает свои услуги: вкладка services на его сайте с контактом для фриланса и консалтинга, но спонсорской интеграции в самом видео нет. Примеры кода доступны на странице модели в разделе Python, однако полный репозиторий со скриптами не приложен — код виден на экране и его нужно переносить вручную. Для модели 0,8B хватит обычного компьютера, а для крупных и vision-моделей автор использует Dell Pro Max с 128 ГБ памяти, поэтому на слабом железе они могут не запуститься.
Если слова незнакомы — 6 терминов
- decision-моделимодели, которые выдают готовое решение: класс, метку или оценку, без длинных рассуждений
- system oneрежим быстрых решений без сложного пошагового размышления, по аналогии с быстрым мышлением
- confidence scoreчисло от 0 до 1, показывающее уверенность модели в ответе
- бинарная классификациявыбор из двух вариантов, например есть лицо или нет
- скорингоценка по шкале, например насколько запрос перспективен
- APIинтерфейс, через который программа общается с удалённым сервисом
Связки из этого ролика
2 шт.- Ollama remote API over local network
- Python HTTPX for image classification
Компоненты
4 шт.Формат: пошаговый урок · для практикующих · уверенность разметки 0.9 · источник