К содержимому
Дайджест

35B-модель на iPhone: 11 токенов в секунду

Better Stack·16 сентября 2026·5:58
текст даёт основное понять, как устроено пошагово
Открыть на YouTube
Технический разбор от Better Stack для тех, кто разбирается в локальном инференсе: как 35-миллиардная MoE-модель заработала прямо на iPhone.

Что в ролике

Локальная модель на 35 миллиардов параметров в память телефона не влезает: обычный 4-битный файл весит около 20 ГБ. Автор показывает, как MoE-модель Qwen в варианте 35B A3B всё-таки работает на iPhone 17 — резидентно в RAM остаются эмбеддинги, attention, роутеры и общий эксперт, и это всего 1,4 ГБ. Остальное, 40 файлов экспертов примерно по 300 МБ и в сумме 12 ГБ, лежит на SSD, и на каждый токен движок читает с диска только те восемь экспертов из 256, которых выбрал роутер. Такое повторяется в каждом из 40 слоёв, то есть на один токен приходится 320 мелких чтений, а флеш iPhone выдаёт лишь около 1,6 ГБ в секунду — при 11 токенах в секунду чисто дисковый поток был бы втрое больше. Вытягивает всё системный page cache iOS: разработчики сначала сделали собственный кэш экспертов на 9,8 ГБ, потом удалили его и получили ускорение на 38%. Вторая техника — ступенчатая квантизация: примерно 25% экспертов выполняют 80% работы, поэтому горячие остаются в 4 битах, холодные сжимаются до 2 бит, а файл модели уменьшается с 19 до 13 ГБ. Отдельно разобраны баг с зацикливанием модели через десяток слов, который лечится правкой функции async pre-read weight, и сборка Flash iOS: релизная сборка в Xcode и заливка 13 ГБ модели по USB примерно за семь минут.

Практика

Что получишь
Поймёшь, за счёт чего большая MoE-модель умещается в память телефона и какие три приёма для этого нужны: стриминг экспертов с SSD, ставка на системный кэш вместо своего и ступенчатая квантизация. Если решишь повторить, у тебя будет список шагов сборки приложения под iPhone.
Первый шаг
Первый шаг — завести платный аккаунт Apple Developer и склонировать репозиторий Flash MOE: без аккаунта релизную сборку на iPhone не поставить.
Цифры
  • —11 токенов в секунду — скорость генерации на iPhone 17 в режиме размышления
  • —1,4 ГБ — столько занимают в памяти эмбеддинги, attention, роутеры и общий эксперт, тогда как обычный 4-битный файл модели — около 20 ГБ
  • —8 из 256 экспертов на слой выбирает роутер, то есть 320 чтений с SSD на каждый токен
  • —13 ГБ вместо 19 ГБ — размер модели после ступенчатой квантизации; заливка такого файла по USB занимает около семи минут
Честно
Автор ничего не продаёт, только зовёт подписаться на канал. Повторение упирается в два барьера: нужен платный аккаунт Apple Developer, а правку функции async pre-read weight в файле metal infer/infer.m придётся смотреть на экране — в речи самого кода нет. Телефон при этом ощутимо греется, о чём автор предупреждает отдельно.
Если слова незнакомы — 7 терминов

Связки из этого ролика

4 шт.

Компоненты

7 шт.

Формат: разбор · для продвинутых · уверенность разметки 0.85 · источник