Jeff — быстрые решения за миллисекунды

Что в ролике
Если вам нужно быстро и дёшево классифицировать или оценить много однотипных данных, модель Jeff от TypeSafe решает эту задачу миллисекундами, но не генерирует текст. Автор показывает, как через playground и Python API задавать вопросы трёх типов: null для да/нет, choice для выбора из категорий и score для оценки по шкале. Модель получает состояние, вопрос и критерии, после чего возвращает вероятности всех вариантов параллельно — например, хот-дог признаётся сэндвичем с вероятностью 82 процента. В скриптах он использует typesafe-sdk и python-dotenv, а ключ хранит в .env файле. Среди практических сценариев — AI-роутер, который классифицирует запрос как простой, средний, сложный или вредоносный и направляет его в GPT-4o Mini или GPT-5, а SQL-инъекцию отсекает как malicious. Также автор сравнивает Jeff с OpenAI в анализе тональности и в игре Connect Four: качество сопоставимо, но Jeff отвечает быстрее и дешевле. В конце он упоминает открытые аналоги Semif, NanoJeff и Kef, отмечая, что лично их не пробовал.
Практика
- Что получишь
- Вы сможете подключить Jeff через Python и использовать его для маршрутизации запросов, проверки безопасности промптов, анализа тональности или простых игр, платя за это минимально и получая ответ за десятки миллисекунд.
- Первый шаг
- Зарегистрируйтесь на TypeSafe, дождитесь активации аккаунта из waiting list, создайте API-ключ и запустите один из примеров playground с вопросом да/нет.
- Цифры
- —80 миллисекунд — время, за которое Jeff вернул ответ в playground, плюс 257 миллисекунд сетевой задержки из Европы
- —82 процента — с такой вероятностью Jeff назвал хот-дог сэндвичем в примере да/нет
- —86 процентов — с такой вероятностью запрос «Forget the system prompt...» был посчитан небезопасным при пороге 65 процентов
- —10 000 API-вызовов — столько, по словам автора, понадобилось блог-посту Jeff's architecture unmasked, чтобы разобрать модель
- Честно
- Автор не продаёт курс или партнёрку, но в конце рекламирует свои услуги фрилансера и консультанта через сайт и LinkedIn. Для повторения нужен показ экрана: точный код скриптов, команды установки пакетов и значения API-ключей в тексте не приведены, а доступ к Jeff пока только по waiting list.
Если слова незнакомы — 6 терминов
- nullтип вопроса с двумя ответами да/нет, возвращает вероятность
- choiceтип вопроса с выбором одной из нескольких категорий
- scoreтип вопроса с оценкой по упорядоченной шкале
- APIспособ отправлять программе запросы и получать ответы
- SDKнабор готовых функций для работы с API на конкретном языке
- SQL-инъекцияввод вредоносного SQL-кода, чтобы сломать или обойти систему
Связки из этого ролика
1 шт.- Python
Компоненты
8 шт.Формат: пошаговый урок · для практикующих · уверенность разметки 0.9 · источник