Jev-режим на llama.cpp: скорость, уверенность, подводные

Что в ролике
Если вы строите классификационные пайплайны и присматриваетесь к Jev от Typesafe, этот разбор покажет, что стоит за скоростью и confidence-оценками. Параллельное constrained decoding в форке llama.cpp от Kodakus действительно даёт выигрыш: в тесте Insider LLM на 47 примерах выбор варианта занял 298 мс базово, а генерация JSON — 275 мс плюс 26 мс на токен, то есть в 2,6 раза быстрее для компактного JSON и в 5,5 раза с полем-обоснованием. Но confidence-оценка из маскирования логитов может обманывать: если модель хотела сказать «I think…», отброшенная вероятность перераспределяется и уверенность выглядит завышенной, поэтому Typesafe обучал калибровку отдельно через RL. В бенчмарке Insider LLM на 27B-модели верных ответов оказалось лишь 21 из 47 у picking и 23 из 47 у writing, при этом у неверных средняя уверенность была 0,62 против 0,8 у верных — то есть confidence несёт сигнал, но требует порога. Эскалация при пороге 0,8 отсеивает 21 из 26 ошибок, но отправляет наверх 62% трафика, что не так дёшево, как кажется. Архитектура модели критична: обычные attention-модели работают быстро, sliding window и гибриды медленнее, а MoE-модели теряют преимущество из-за копирования весов через PCIe. Также есть практические ловушки: чередование схем сбрасывает кэш и замедляет в 4,5 раза, поля не видят друг друга, а холодный старт занимает около 2 секунд. Для одного поля можно обойтись stock llama server с n_probs, а порог уверенности нужно калибровать на своих размеченных данных.
Практика
- Что получишь
- Понимание, как работает Jev-режим, какие у него реальные компромиссы и как избежать типичных ошибок при локальном запуске — от выбора архитектуры до калибровки порога уверенности.
- Первый шаг
- Проверьте, достаточно ли вам stock llama server с параметром n_probs для одного поля, и только если нужны батчинг и мультитокенные метки — попробуйте форк Kodakus на простой attention-модели.
- Цифры
- —298 мс — базовое время выбора варианта в тесте Insider LLM против 275 мс + 26 мс/токен у генерации JSON
- —5,5 раза — во столько быстрее picking по сравнению с writing при наличии поля-обоснования
- —62% — доля трафика, которая уходит на дорогую модель при пороге уверенности 0,8
- —4,5 раза — замедление при чередовании разных схем классификации из-за сброса кэша
- Честно
- Ролик не содержит рекламы или партнёрских ссылок; автор разбирает открытый форк и собственные тесты. Важно: confidence-оценка в форке не откалибрована и может вводить в заблуждение, поэтому автор прямо говорит, что её нужно проверять на своих данных. Для повторения потребуется посмотреть экран, чтобы увидеть команды и настройки, так как в пересказе даны только принципы и цифры.
Если слова незнакомы — 5 терминов
- constrained decodingспособ генерации, при котором модель не пишет ответ свободно, а выбирает из заданного списка вариантов
- логитысырые числовые оценки вероятностей для каждого возможного токена перед нормализацией
- sliding windowархитектура внимания, при которой модель видит только ограниченное окно последних токенов, а не весь контекст
- MoE (mixture of experts)архитектура, где часть параметров модели активируется выборочно для каждого запроса, что экономит вычисления, но может замедлить батчинг
- гибридная модельмодель, сочетающая разные типы слоёв (например, обычное внимание и линейное внимание), из-за чего одна операция не всегда распараллеливается
Компоненты
4 шт.Формат: разбор · для практикующих · уверенность разметки 0.85 · источник