К содержимому
Дайджест

Hermes-агент на сервере за $8: без API и запасной CPU

RepoChad·12 ноября 2026·10:17
нужен экран можно повторить пошагово
Открыть на YouTube
Практический разбор для тех, кто хочет поднять собственного Telegram-агента на своём сервере и не платить за API-токены.

Что в ролике

Если агент живёт на Mac, он спит вместе с машиной, поэтому автор переносит Hermes на сервер, который не выключается. Роль мозга исполняет модель через Ollama, но Hermes требует контекст от 64 000 токенов, а 4B-модель занимает около 5,5 ГБ RAM, поэтому выбран VPS KVM 2 с двумя ядрами AMD EPYC, 8 ГБ RAM и 100 ГБ NVMe. На двух ядрах шесть небольших моделей протестированы в llama-cpp: скорость записи составила от 6,5 до 26,5 токена/с, причём самая быстрая LFM 2,5 8B A1B активирует лишь 1 млрд параметров на слово. Настоящая проблема — каждый запрос Hermes оборачивает примерно в 14 000 токенов инструкций и описаний инструментов, поэтому на CPU первый ответ занимал от 2 до 6,5 минуты. После сокращения инструментов до трёх (веб, терминал, память) промпт сжался до 4 500 токенов, а кэширование общей части дало ответы за 20–50 секунд: выбранная 4B-модель проверяла время, диск и помнила контекст. Домашний Mac Mini с GPU через зашифрованный SSH-туннель отдаёт свою модель на сервер, отвечая за 31 секунду холодного старта и 6 секунд после кэша, а при засыпании Mac агент сам переключается на серверный CPU. В тесте с телефона вопрос о свободном месте на диске получил ответ за 36 секунд, напоминание о дате выхода ролика сохранилось и после сна Mac, а после пробуждения ответ пришёл за 7 секунд. Итог: агент онлайн круглосуточно, выполняет команды и сохраняет память при смене мозга, но CPU в одиночку медленный для первого ответа, а одна модель выдумала GPU.

Практика

Что получишь
Личного Telegram-агента, который работает круглосуточно, выполняет команды и помнит контекст даже при переключении между домашним GPU и серверным CPU.
Первый шаг
Взять VPS KVM 2 с шаблоном Hermes, поставить Ollama из каталога и сократить инструменты до веба, терминала и памяти.
Цифры
  • —8,79 доллара в месяц — базовая цена VPS KVM 2 на двухлетнем тарифе до купона
  • —26,5 токена/с — самая высокая скорость записи среди шести протестированных моделей
  • —3 минуты — задержка первого ответа на серверном CPU после оптимизации
  • —36 секунд — время ответа с Mac на вопрос о свободном месте на диске
Честно
Видео спонсировано Hostinger, автор даёт партнёрскую ссылку и промокод repochad; цена 7,91 доллара в месяц получена на двухлетнем тарифе со скидкой Black Friday плюс купон. Все команды обещаны в описании ролика, а детали SSH-туннеля и правки конфигурации Ollama придётся смотреть на экране или в описании.
Если слова незнакомы — 7 терминов

Понадобится экран

Часть информации есть только на экране (код в терминале). Открыть на YouTube с 4:33.

Связки из этого ролика

4 шт.

Компоненты

8 шт.

Цитаты-доказательства

дословно из субтитров

Формат: пошаговый урок · для практикующих · уверенность разметки 0.9 · источник