Hermes-агент на сервере за $8: без API и запасной CPU

Что в ролике
Если агент живёт на Mac, он спит вместе с машиной, поэтому автор переносит Hermes на сервер, который не выключается. Роль мозга исполняет модель через Ollama, но Hermes требует контекст от 64 000 токенов, а 4B-модель занимает около 5,5 ГБ RAM, поэтому выбран VPS KVM 2 с двумя ядрами AMD EPYC, 8 ГБ RAM и 100 ГБ NVMe. На двух ядрах шесть небольших моделей протестированы в llama-cpp: скорость записи составила от 6,5 до 26,5 токена/с, причём самая быстрая LFM 2,5 8B A1B активирует лишь 1 млрд параметров на слово. Настоящая проблема — каждый запрос Hermes оборачивает примерно в 14 000 токенов инструкций и описаний инструментов, поэтому на CPU первый ответ занимал от 2 до 6,5 минуты. После сокращения инструментов до трёх (веб, терминал, память) промпт сжался до 4 500 токенов, а кэширование общей части дало ответы за 20–50 секунд: выбранная 4B-модель проверяла время, диск и помнила контекст. Домашний Mac Mini с GPU через зашифрованный SSH-туннель отдаёт свою модель на сервер, отвечая за 31 секунду холодного старта и 6 секунд после кэша, а при засыпании Mac агент сам переключается на серверный CPU. В тесте с телефона вопрос о свободном месте на диске получил ответ за 36 секунд, напоминание о дате выхода ролика сохранилось и после сна Mac, а после пробуждения ответ пришёл за 7 секунд. Итог: агент онлайн круглосуточно, выполняет команды и сохраняет память при смене мозга, но CPU в одиночку медленный для первого ответа, а одна модель выдумала GPU.
Практика
- Что получишь
- Личного Telegram-агента, который работает круглосуточно, выполняет команды и помнит контекст даже при переключении между домашним GPU и серверным CPU.
- Первый шаг
- Взять VPS KVM 2 с шаблоном Hermes, поставить Ollama из каталога и сократить инструменты до веба, терминала и памяти.
- Цифры
- —8,79 доллара в месяц — базовая цена VPS KVM 2 на двухлетнем тарифе до купона
- —26,5 токена/с — самая высокая скорость записи среди шести протестированных моделей
- —3 минуты — задержка первого ответа на серверном CPU после оптимизации
- —36 секунд — время ответа с Mac на вопрос о свободном месте на диске
- Честно
- Видео спонсировано Hostinger, автор даёт партнёрскую ссылку и промокод repochad; цена 7,91 доллара в месяц получена на двухлетнем тарифе со скидкой Black Friday плюс купон. Все команды обещаны в описании ролика, а детали SSH-туннеля и правки конфигурации Ollama придётся смотреть на экране или в описании.
Если слова незнакомы — 7 терминов
- VPSвиртуальный сервер, который работает круглосуточно и сдаётся в аренду
- токенединица текста, которую модель читает или пишет
- контекстобъём текста, который модель видит в запросе
- промптинструкция и данные, отправляемые модели
- SSH-туннельзашифрованный канал между двумя компьютерами
- Dockerспособ упаковать и запускать приложение изолированно
- Ollamaинструмент для локального запуска моделей
Понадобится экран
Часть информации есть только на экране (код в терминале). Открыть на YouTube с 4:33.
Связки из этого ролика
4 шт.- Hermes + Ollama
- Docker + Hermes
- Telegram + Hermes
- Mac GPU + CPU fallback
Компоненты
8 шт.Цитаты-доказательства
дословно из субтитровФормат: пошаговый урок · для практикующих · уверенность разметки 0.9 · источник