Jev против Clef: тест на 200 комментариях и миниатюрах

Что в ролике
Автор взял две новые модели — Jev от Type Safe AI и Clef от Cloudflare — и сравнил их на 200 случайных комментариях со своего YouTube-канала. Это так называемые system-one модели: они не ведут диалог, а получают фрагмент текста, список вопросов и выдают вероятности для каждого варианта ответа. Обе модели оценивали комментарии по пяти вопросам — спам, стоит ли отвечать, есть ли ошибка в видео, тон и токсичность — а правильность определял Claude Opus как арбитр. Jev справился за 7,2 секунды, Clef — за 27,2 секунды, при этом Jev оказался в 6,5 раза дешевле за комментарий, но Clef уложился в бесплатный дневной лимит Cloudflare: тест стоил 0 долларов. По точности Jev совпал с арбитром в 86 % случаев, Clef — в 83 %, и Clef выиграл три вопроса из пяти, но на вопросе о тоне набрал лишь 49 %, потому что слишком часто называл комментарии нейтральными. На 225 миниатюрах без заголовков Clef предсказал успех для 176 штук, однако лучше среднего по каналу сработали только 49 % из них — это уровень случайного подбрасывания монеты. При этом Clef полезен для описания картинок: миниатюры со скриншотом в главной роли получали в 1,4 раза больше типичных просмотров, а с диаграммой — 0,9 раза, хотя тема видео часто важнее картинки.
Практика
- Что получишь
- Поймёте, чем system-one модели отличаются от чат-ботов, как сравнивать две модели на своей выборке и почему точность тона может стать решающим критерием.
- Первый шаг
- Начать с бесплатного Clef на Cloudflare: держать дневной расход в пределах 10 000 нейронов и прогнать свои комментарии через те же пять вопросов.
- Цифры
- —7,2 и 27,2 секунды — сколько понадобилось Jev и Clef на разбор 200 комментариев
- —86 % и 83 % — доля совпадений Jev и Clef с ответами модели-арбитра
- —10 000 нейронов — бесплатный дневной лимит Cloudflare, при средних 14 нейронах на комментарий это около 700 вызовов
- —176 из 225 миниатюр Clef посчитал успешными, но только 49 % из них действительно обошли типичный результат
- Честно
- Автор несколько раз просит подписаться и поставить лайк, но платного продукта или партнёрства не упоминает. Правильность ответов определялась согласием с Claude Opus, а не ручной разметкой, поэтому 86 % и 83 % — это совпадение моделей, а не фактические ошибки. Отдельные таблицы и графики с результатами видны только на экране, в подписи переданы ключевые цифры.
Если слова незнакомы — 4 терминов
- system-one модельмодель, которая не ведёт диалог, а получает контент и вопросы и возвращает вероятности ответов
- открытые весапараметры модели выложены в открытый доступ, её можно скачать и запустить на своём железе
- нейроны Cloudflareвнутренняя единица учёта вычислительных ресурсов Cloudflare, от неё зависит бесплатный лимит
- рефери-модельсторонняя модель-арбитр, чьи ответы принимают за эталон для сравнения
Компоненты
3 шт.Формат: обзор · для практикующих · уверенность разметки 0.9 · источник