Harbor от Claris: локальный AI-сервер на Mac без облака

Что в ролике
Если вас достали ежемесячные подписки на ChatGPT и Claude и вы не хотите отправлять рабочие документы в чужие облака, Harbor от Claris выглядит как ответ: частный AI-сервер на уже купленных Mac с нулевыми облачными платежами и данными, которые не покидают офис. Приложение мелькнуло в App Store в ноябре: разработчик Аарон Пэрис опубликовал скриншоты, собравшие 732 000 просмотров, а внутри виден выбор модели, окно загрузки с Hugging Face и кнопка Copy API, которая раздаёт адрес сервера любым программам в сети. Автор разбирает три популярных заблуждения: проект Harbor на GitHub с 3 300 звёзд — не от Apple; скриншот на 16 ГБ Mac не доказывает работу модели, потому что до загрузки уже занято 12 ГБ, а модель весит 11,4 ГБ; красивая картинка кластера — маркетинговый мокап, так как RDMA не включена и режим standalone. Ключевое ограничение, на которое почти никто не обратил внимание, — это конкурентность: Apple публикует бенчмарки с batch size 1, где Qwen 3 8B выдаёт 19,69 токена в секунду на одном M5 Ultra, но при десяти одновременных запросах с документами на 65 000 токенов первый видит ответ меньше чем через минуту, а десятый ждёт около 7 минут, а на Mistral Medium 3.5 128B — уже 45 минут. Кластер из четырёх M5 Ultra Mac Studio за 22 000 долларов сокращает это ожидание до 2,5 минут, но требует кабеля Thunderbolt между каждой парой машин и Pro/Max/Ultra-чипов с Thunderbolt 5. По деньгам самый дешёвый M5 Ultra Mac Studio за 5 499 долларов окупается против 10 подписок по 25 долларов за 22 месяца, но только если игнорировать разницу между frontier-моделями в облаке и открытой моделью на Mac и если сервер загружен непрерывно. Автор советует физлицам не ждать и ставить бесплатный LM Studio, который уже умеет батчить запросы и раздавать API, а командам — проверять порты Thunderbolt 5 и мерить время до первого слова на самом длинном реальном документе.
Практика
- Что получишь
- Понять, подходит ли Harbor вашему офису: чем он отличается от LM Studio, какие Mac реально подойдут для кластера и где его главное узкое место — ожидание при одновременных запросах.
- Первый шаг
- Если вы физлицо — установите LM Studio и попробуйте локальную модель на своём Mac; если команда — проверьте, есть ли у ваших машин Thunderbolt 5.
- Цифры
- —732 000 просмотров — столько набрал пост Аарона Пэриса со скриншотами Harbor
- —19,69 токена в секунду — скорость Qwen 3 8B на одном M5 Ultra в бенчмарке Apple при batch size 1
- —7 минут — столько ждёт десятый сотрудник первого слова на документе 65 000 токенов, если все отправили запросы одновременно
- —$5 499 — цена самого дешёвого M5 Ultra Mac Studio, который окупается против 10 подписок за 22 месяца
- Честно
- Автор не продвигает свой продукт и не даёт партнёрских ссылок; в конце просит поставить лайк и подписаться. Harbor пока нельзя скачать, его цена и модель распространения не объявлены, поэтому все расчёты основаны на скриншотах и бенчмарках Apple. Нужные команды и окна интерфейса показаны на экране, для повторения замеров придётся пересматривать ролик.
Если слова незнакомы — 5 терминов
- APIадрес, по которому программы отправляют запросы к серверу и получают ответы
- RDMAтехнология прямого доступа к памяти другой машины по Thunderbolt без участия процессора
- batch sizeсколько запросов модель обрабатывает одновременно в одном вычислительном шаге
- frontier-моделисамые сильные коммерческие AI-модели, которые обычно доступны только в облаке
- токенединица текста, на которые модель разбивает ввод и вывод
Связки из этого ролика
3 шт.- Apple Silicon Mac + LM Studio
- Mac cluster with Thunderbolt 5 + Exo
- FileMaker + Harbor private AI server
Компоненты
9 шт.Формат: разбор · для бизнеса · уверенность разметки 0.92 · источник