К содержимому
Дайджест

LLM на Apple Watch 2020 года: 24 токена в секунду

Better Stack·18 сентября 2026·11:33
нужен экран понять, как устроено
Открыть на YouTube
Технический разбор для разработчиков: почему локальная модель вообще идёт на часах 2020 года и каких ограничений это стоит.

Что в ролике

На Apple Watch Series 6 2020 года модель Falcon H1 на 90 млн параметров работает полностью офлайн и выдаёт в среднем около 15 токенов в секунду, поддерживает вызовы инструментов и голосовой ввод. Для сравнения: на Raspberry Pi первого поколения та же затея дала 0,3 токена в секунду, то есть часы оказались примерно в 50 раз быстрее — у Pi одно ядро 700 МГц и 512 МБ памяти против двух ядер 1,8 ГГц и 1 ГБ у часов. Apple Core ML здесь не подходит: половина слоёв Falcon — это state space модель Mamba 2 со сканом, а Core ML умеет конвертировать только attention и требует фиксированного графа. llama.cpp официально не собирается под watchOS, но собирается под цель arm64_32 — это не урезанный ARM: набор инструкций и NEON сохранены полностью, ограничение только в 32-битных адресах и потолке памяти около 2 ГБ. Сборка требует отдельных флагов компилятора и правки-guard в одну строку, но в готовом проекте из репозитория всё уже скомпилировано, а модели подменяются файлами GGML в папке models. В демо Falcon H1 отвечает про Париж через вызов инструмента Wikipedia на 24 токенах в секунду, модель SmolLM2 на 135 млн параметров — на 14, а на длинном ответе про поиск в глубину скорость падает с 20 до 10 токенов в секунду. Инструмент погоды возвращает 14,5 градуса, но координаты в нём зашиты на Оттаву. Вывод автора: старые устройства уже способны на локальный инференс, и непонятно, почему производители до сих пор не поставляют обычную локальную модель прямо на часы.

Практика

Что получишь
Понимание, чем локальный инференс на носимом устройстве отличается от облачного, где проходит граница возможностей watchOS и какие замеры реально получаются на железе 2020 года.
Первый шаг
Клонировать проект из ссылки на GitHub в описании и открыть его в Xcode — там модели лежат файлами в папке models, и всё уже скомпилировано под часы.
Цифры
  • —90 млн параметров у модели Falcon H1, сам файл модели весит 57 МБ
  • —15–24 токена в секунду выдаёт Falcon H1, на длинных ответах скорость падает с 20 до 10
  • —0,3 токена в секунду на Raspberry Pi 1 против 15 и больше на часах — разница примерно в 50 раз
  • —2 ГБ — потолок адресуемой памяти на watchOS из-за 32-битных адресов, поэтому большая модель туда не влезет
Честно
Ролик помечен как must_watch: команда компиляции, набор флагов сборки и правка исходника в речи не звучат, они остаются на экране, поэтому для собственной сборки llama.cpp под watchOS придётся смотреть видео, а не читать текст. Промо своего продукта нет, есть только приглашение к обсуждению в комментариях. Для повторения понадобится Apple Watch и Mac с Xcode, а модель погоды придётся переделать: координаты в демо зашиты жёстко на Оттаву.
Если слова незнакомы — 8 терминов

Понадобится экран

Часть информации есть только на экране (код в терминале). Открыть на YouTube с 6:32.

Связки из этого ролика

5 шт.

Компоненты

14 шт.

Цитаты-доказательства

дословно из субтитров

Формат: разбор · для продвинутых · уверенность разметки 0.72 · источник