Jev-хук ускоряет Hermes-агента в два раза

Что в ролике
Нужно ускорить постоянно работающего Hermes-агента, который отвечает в чате и сам выполняет команды на сервере. Автор добавляет в Hermes pre-LLM хук на Python, который перед обращением к основной модели отправляет текст пользователя в быструю модель Jev через API Typesafe. Jev классифицирует запрос — например, disk usage, suspicious logs, CPU, memory — за 100–200 миллисекунд, возвращает выбор и сразу выполняет нужную команду вроде df -h. Вывод команды вставляется в промпт для основной модели с инструкцией не вызывать инструменты повторно, а просто ответить. Видео показывает настройку Hermes на VPS Hostinger с 2 vCPU и 8 ГБ RAM и регистрацию pre-LLM хука в конфиге Hermes. Для запроса про диск время уменьшилось примерно с 8,4–9,2 до 4,68 секунды, для проверки подозрительных логов — с 28 до 18,9 секунды. По такому же принципу можно описать любые частые запросы и ускорить агента без замены основной модели.
Практика
- Что получишь
- Сможете подключить к Hermes pre-LLM хук с Jev и сократить время ответа на частые запросы в полтора-два раза за счёт мгновенной классификации и готовых команд.
- Первый шаг
- Поднимите Hermes на VPS, добавьте API-ключ Typesafe в .env и создайте Python-скрипт хука, который через endpoint /v1/system-one спрашивает Jev о типе запроса.
- Цифры
- —4,68 секунды — время ответа Hermes на запрос о диске с Jev-хуком
- —8,4–9,2 секунды — время ответа без хука, почти вдвое дольше
- —18,9 секунды — время с хуком для проверки подозрительных логов против 28 секунд без хука
- —100–200 миллисекунд — скорость ответа Jev на простой вопрос
- Честно
- Видео спонсировано Hostinger: автор даёт промокод neural910 и партнёрскую ссылку. Модель Jev — закрытая, доступ к ней через платный API Typesafe; сам ключ создаётся в кабинете. Во второй части готовый скрипт вставляется в Vim из подготовленного кода, а не набирается построчно, поэтому часть логики видна только на экране.
Если слова незнакомы — 4 терминов
- pre-LLM хукдействие, которое выполняется перед вызовом основной модели и может добавить контекст в запрос
- VPSвиртуальный сервер с собственной ОС и командной строкой
- APIспособ отправлять запросы к чужой модели по ключу
- промпттекст, который передаётся модели
Понадобится экран
Часть информации есть только на экране (код в терминале). Открыть на YouTube с 23:05.
Связки из этого ролика
5 шт.- Hermes
- Jeff
- OpenAI GPT
- Python pre-LLM hook
- Ubuntu VPS
Компоненты
10 шт.Цитаты-доказательства
дословно из субтитровФормат: пошаговый урок · для практикующих · уверенность разметки 0.85 · источник