Jev — модель без текста: вероятности вместо JSON

Что в ролике
Если вам нужно быстро классифицировать письмо в поддержку, обычный LLM напишет JSON, но не скажет, насколько уверен в ответе. Jev от стартапа TypeSafe — модель типа system one: она не генерирует текст, а возвращает вероятность для каждого заранее заданного варианта ответа. Модель принимает на вход состояние — текст письма и историю платежей — и список вопросов: да или нет, выбор команды из списка, оценка срочности. Все ответы приходят разом, поэтому это быстрее и дешевле, чем пошаговая генерация токенов у LLM. В примере с письмом «меня дважды списали деньги» Jev может выдать 0,9 для refund и 0,85 для billing. Эти вероятности откалиброваны: если модель говорит 80%, она права примерно в 8 случаях из 10. Порог выше 0,9 позволяет автоматически отправлять письмо в очередь возвратов, а промежуточные значения направлять человеку. Ограничения тоже есть: Jev принимает только текст, плохо считает и может быть обманут инструкциями внутри данных.
Практика
- Что получишь
- Понимание, чем system one модель Jev отличается от LLM и где её применять: быстрая классификация с честной вероятностью вместо текстового ответа.
- Первый шаг
- Сформулируйте свою задачу как список вопросов с вариантами ответов — именно в таком виде Jev принимает входные данные.
- Цифры
- —0,9 — вероятность refund в примере письма, при таком пороге письмо автоматически уходит в очередь возвратов
- —0,85 — вероятность, что письмо должна обрабатывать команда billing
- —80% — если модель говорит 80%, она права примерно в 8 случаях из 10
- Честно
- Прямой рекламы продукта нет, но это канал IBM Technology, и ролик может косвенно усиливать интерес IBM к теме. TypeSafe почти не раскрывает архитектуру Jev, так что деталей обучения, кроме RLCD, в видео нет. График калибровки и пороговые линии показаны на экране, поэтому без просмотра самой картинки часть объяснения теряется.
Если слова незнакомы — 6 терминов
- LLMбольшая языковая модель, которая генерирует текст по одному токену за раз
- токенминимальная единица текста, которую модель выдаёт за шаг
- system oneбыстрое автоматическое мышление по Канеману, без долгих рассуждений
- калибровкасвойство модели: заявленная вероятность совпадает с реальной частотой правильных ответов
- порогчисло, с которым сравнивают вероятность для принятия решения
- JSONтекстовый формат обмена данными, часто используемый для структурированных ответов моделей
Компоненты
1 шт.Формат: разбор · для практикующих · уверенность разметки 0.85 · источник