35B-модель на iPhone: 11 токенов в секунду

Что в ролике
Локальная модель на 35 миллиардов параметров в память телефона не влезает: обычный 4-битный файл весит около 20 ГБ. Автор показывает, как MoE-модель Qwen в варианте 35B A3B всё-таки работает на iPhone 17 — резидентно в RAM остаются эмбеддинги, attention, роутеры и общий эксперт, и это всего 1,4 ГБ. Остальное, 40 файлов экспертов примерно по 300 МБ и в сумме 12 ГБ, лежит на SSD, и на каждый токен движок читает с диска только те восемь экспертов из 256, которых выбрал роутер. Такое повторяется в каждом из 40 слоёв, то есть на один токен приходится 320 мелких чтений, а флеш iPhone выдаёт лишь около 1,6 ГБ в секунду — при 11 токенах в секунду чисто дисковый поток был бы втрое больше. Вытягивает всё системный page cache iOS: разработчики сначала сделали собственный кэш экспертов на 9,8 ГБ, потом удалили его и получили ускорение на 38%. Вторая техника — ступенчатая квантизация: примерно 25% экспертов выполняют 80% работы, поэтому горячие остаются в 4 битах, холодные сжимаются до 2 бит, а файл модели уменьшается с 19 до 13 ГБ. Отдельно разобраны баг с зацикливанием модели через десяток слов, который лечится правкой функции async pre-read weight, и сборка Flash iOS: релизная сборка в Xcode и заливка 13 ГБ модели по USB примерно за семь минут.
Практика
- Что получишь
- Поймёшь, за счёт чего большая MoE-модель умещается в память телефона и какие три приёма для этого нужны: стриминг экспертов с SSD, ставка на системный кэш вместо своего и ступенчатая квантизация. Если решишь повторить, у тебя будет список шагов сборки приложения под iPhone.
- Первый шаг
- Первый шаг — завести платный аккаунт Apple Developer и склонировать репозиторий Flash MOE: без аккаунта релизную сборку на iPhone не поставить.
- Цифры
- —11 токенов в секунду — скорость генерации на iPhone 17 в режиме размышления
- —1,4 ГБ — столько занимают в памяти эмбеддинги, attention, роутеры и общий эксперт, тогда как обычный 4-битный файл модели — около 20 ГБ
- —8 из 256 экспертов на слой выбирает роутер, то есть 320 чтений с SSD на каждый токен
- —13 ГБ вместо 19 ГБ — размер модели после ступенчатой квантизации; заливка такого файла по USB занимает около семи минут
- Честно
- Автор ничего не продаёт, только зовёт подписаться на канал. Повторение упирается в два барьера: нужен платный аккаунт Apple Developer, а правку функции async pre-read weight в файле metal infer/infer.m придётся смотреть на экране — в речи самого кода нет. Телефон при этом ощутимо греется, о чём автор предупреждает отдельно.
Если слова незнакомы — 7 терминов
- MoEмодель, где на каждый токен включается лишь часть экспертов, а остальные ждут на диске
- параметрчисловой вес модели; чем их больше, тем больше файл и требования к памяти
- токенкусочек текста, которым модель читает и пишет; скорость считают в токенах в секунду
- attentionчасть модели, которая смотрит на весь предыдущий текст и решает, что в нём важно
- квантизациясжатие весов модели за счёт точности
- page cacheкэш операционной системы, куда попадают недавно прочитанные с диска данные
- RAMоперативная память, из которой модель считает прямо сейчас
Связки из этого ролика
4 шт.- Flash MOE + Qwen3.5 35B A3B — запуск MoE-модели на iPhone со стримингом экспертов с SSD вместо загрузки всех весов в RAM
- Flash MOE + iOS page cache — отказ от собственного кэша экспертов на 9.8 ГБ ради системного кэша страниц (+38% скорости)
- Qwen3.5 35B A3B + ступенчатая квантизация — горячие эксперты в 4 битах, холодные в 2 битах, файл модели сжимается с 19 до 13 ГБ
- Flash iOS + Xcode — сборка релизной сборки iOS-порта и установка на iPhone с платным Apple Developer аккаунтом
Компоненты
7 шт.Формат: разбор · для продвинутых · уверенность разметки 0.85 · источник