К содержимому
Дайджест

Jev-режим на llama.cpp: скорость, уверенность, подводные

Kai·24 сентября 2026·14:20
можно прочитать понять, как устроено
Открыть на YouTube
Технический разбор того, как воспроизвести Jev-режим быстрой классификации на локальном llama.cpp, для инженеров, строящих пайплайны со структурированным выводом.

Что в ролике

Если вы строите классификационные пайплайны и присматриваетесь к Jev от Typesafe, этот разбор покажет, что стоит за скоростью и confidence-оценками. Параллельное constrained decoding в форке llama.cpp от Kodakus действительно даёт выигрыш: в тесте Insider LLM на 47 примерах выбор варианта занял 298 мс базово, а генерация JSON — 275 мс плюс 26 мс на токен, то есть в 2,6 раза быстрее для компактного JSON и в 5,5 раза с полем-обоснованием. Но confidence-оценка из маскирования логитов может обманывать: если модель хотела сказать «I think…», отброшенная вероятность перераспределяется и уверенность выглядит завышенной, поэтому Typesafe обучал калибровку отдельно через RL. В бенчмарке Insider LLM на 27B-модели верных ответов оказалось лишь 21 из 47 у picking и 23 из 47 у writing, при этом у неверных средняя уверенность была 0,62 против 0,8 у верных — то есть confidence несёт сигнал, но требует порога. Эскалация при пороге 0,8 отсеивает 21 из 26 ошибок, но отправляет наверх 62% трафика, что не так дёшево, как кажется. Архитектура модели критична: обычные attention-модели работают быстро, sliding window и гибриды медленнее, а MoE-модели теряют преимущество из-за копирования весов через PCIe. Также есть практические ловушки: чередование схем сбрасывает кэш и замедляет в 4,5 раза, поля не видят друг друга, а холодный старт занимает около 2 секунд. Для одного поля можно обойтись stock llama server с n_probs, а порог уверенности нужно калибровать на своих размеченных данных.

Практика

Что получишь
Понимание, как работает Jev-режим, какие у него реальные компромиссы и как избежать типичных ошибок при локальном запуске — от выбора архитектуры до калибровки порога уверенности.
Первый шаг
Проверьте, достаточно ли вам stock llama server с параметром n_probs для одного поля, и только если нужны батчинг и мультитокенные метки — попробуйте форк Kodakus на простой attention-модели.
Цифры
  • —298 мс — базовое время выбора варианта в тесте Insider LLM против 275 мс + 26 мс/токен у генерации JSON
  • —5,5 раза — во столько быстрее picking по сравнению с writing при наличии поля-обоснования
  • —62% — доля трафика, которая уходит на дорогую модель при пороге уверенности 0,8
  • —4,5 раза — замедление при чередовании разных схем классификации из-за сброса кэша
Честно
Ролик не содержит рекламы или партнёрских ссылок; автор разбирает открытый форк и собственные тесты. Важно: confidence-оценка в форке не откалибрована и может вводить в заблуждение, поэтому автор прямо говорит, что её нужно проверять на своих данных. Для повторения потребуется посмотреть экран, чтобы увидеть команды и настройки, так как в пересказе даны только принципы и цифры.
Если слова незнакомы — 5 терминов

Компоненты

4 шт.

Формат: разбор · для практикующих · уверенность разметки 0.85 · источник