LLM на Apple Watch 2020 года: 24 токена в секунду

Что в ролике
На Apple Watch Series 6 2020 года модель Falcon H1 на 90 млн параметров работает полностью офлайн и выдаёт в среднем около 15 токенов в секунду, поддерживает вызовы инструментов и голосовой ввод. Для сравнения: на Raspberry Pi первого поколения та же затея дала 0,3 токена в секунду, то есть часы оказались примерно в 50 раз быстрее — у Pi одно ядро 700 МГц и 512 МБ памяти против двух ядер 1,8 ГГц и 1 ГБ у часов. Apple Core ML здесь не подходит: половина слоёв Falcon — это state space модель Mamba 2 со сканом, а Core ML умеет конвертировать только attention и требует фиксированного графа. llama.cpp официально не собирается под watchOS, но собирается под цель arm64_32 — это не урезанный ARM: набор инструкций и NEON сохранены полностью, ограничение только в 32-битных адресах и потолке памяти около 2 ГБ. Сборка требует отдельных флагов компилятора и правки-guard в одну строку, но в готовом проекте из репозитория всё уже скомпилировано, а модели подменяются файлами GGML в папке models. В демо Falcon H1 отвечает про Париж через вызов инструмента Wikipedia на 24 токенах в секунду, модель SmolLM2 на 135 млн параметров — на 14, а на длинном ответе про поиск в глубину скорость падает с 20 до 10 токенов в секунду. Инструмент погоды возвращает 14,5 градуса, но координаты в нём зашиты на Оттаву. Вывод автора: старые устройства уже способны на локальный инференс, и непонятно, почему производители до сих пор не поставляют обычную локальную модель прямо на часы.
Практика
- Что получишь
- Понимание, чем локальный инференс на носимом устройстве отличается от облачного, где проходит граница возможностей watchOS и какие замеры реально получаются на железе 2020 года.
- Первый шаг
- Клонировать проект из ссылки на GitHub в описании и открыть его в Xcode — там модели лежат файлами в папке models, и всё уже скомпилировано под часы.
- Цифры
- —90 млн параметров у модели Falcon H1, сам файл модели весит 57 МБ
- —15–24 токена в секунду выдаёт Falcon H1, на длинных ответах скорость падает с 20 до 10
- —0,3 токена в секунду на Raspberry Pi 1 против 15 и больше на часах — разница примерно в 50 раз
- —2 ГБ — потолок адресуемой памяти на watchOS из-за 32-битных адресов, поэтому большая модель туда не влезет
- Честно
- Ролик помечен как must_watch: команда компиляции, набор флагов сборки и правка исходника в речи не звучат, они остаются на экране, поэтому для собственной сборки llama.cpp под watchOS придётся смотреть видео, а не читать текст. Промо своего продукта нет, есть только приглашение к обсуждению в комментариях. Для повторения понадобится Apple Watch и Mac с Xcode, а модель погоды придётся переделать: координаты в демо зашиты жёстко на Оттаву.
Если слова незнакомы — 8 терминов
- LLMбольшая языковая модель, которая отвечает текстом на вопросы
- токенкусочек слова, которым модель считает и текст, и скорость ответа
- инференссам процесс работы модели, когда она выдаёт ответ
- attentionмеханизм, которым модель сопоставляет слова между собой внутри запроса
- state space (Mamba 2)альтернатива attention: модель держит одно небольшое состояние и обновляет его по одному слову
- сканпоследовательный пересчёт этого состояния, шаг за шагом, без параллельного ускорения
- arm64_32цель сборки для часов: полный набор инструкций ARM, но адреса памяти короткие, 32-битные
- GGMLформат файла с моделью, который просто кладут в папку проекта
Понадобится экран
Часть информации есть только на экране (код в терминале). Открыть на YouTube с 6:32.
Связки из этого ролика
5 шт.- llama.cpp + цель arm64_32 — сборка инференс-движка под watchOS отдельными флагами компилятора и правкой-guard в исходнике
- Falcon H1 (90M) + llama.cpp на Apple Watch Series 6 — локальный LLM с потоковой выдачей 15–24 токенов в секунду без облака
- Falcon H1 + Mamba 2 — гибрид attention и state space, из-за которого модель не конвертируется в Core ML
- GGML-файлы моделей + Xcode-проект — подмена модели в папке models для сравнения Falcon H1 и SmolLM2 135M без пересборки приложения
- Файл tools + приложение на часах — регистрация tool calls (Wikipedia, погода) переименованием файла
Компоненты
14 шт.Цитаты-доказательства
дословно из субтитров- So, to compile llama.cpp correctly specifically for watchOS, you need to use this command.6:32
- All it needs is a handful of build flags and a one-line guard in the source.4:37
- ARM64 32 is just a target you tell the compiler to build for. You just need to pass different flags.6:26
- But in the watch app project we'll be working with, it is already compiled.6:39
Формат: разбор · для продвинутых · уверенность разметки 0.72 · источник