200 токенов/с на Mac M5: реальные цифры и подвох

Что в ролике
Если вы запускаете локальные модели на Mac и устали от медленной генерации, заголовок о 200 токенах в секунду на M5 Max звучит как прорыв, но реальные цифры ниже и сильно зависят от того, что именно вы пишете. Физический потолок для 4-битной модели Qwen 3.8 27B на чипе M5 Max с 40-ядерным GPU (пропускная способность памяти 614 ГБ/с) составляет около 38 токенов/с, а обычное декодирование без трюков показало 30,5 токенов/с. Заявленные 200 токенов/с получены с помощью спекулятивного декодирования: маленькая draft-модель Deep Spark на 1,1 ГБ угадывает 7 токенов, а большая модель проверяет их за один проход памяти, но в readme прямо сказано, что 168 токенов/с — это проекция при шести принятых догадках, без учёта времени на угадывание и проверку. В измеренном исследовании из репозитория средний показатель принятых догадок оказался 2,5, что даёт около 80 токенов/с сквозной генерации — это вдвое выше аппаратного потолка, но далеко от 200. На практике Lithos быстрее на коде (59 токенов/с против 55 у MLX), но медленнее на английской прозе (34 против 38), а скорость чтения промпта у него сильно ниже: 374 токенов/с против 948 у OMLX на 4000 токенах, из-за чего полная агентная сессия занимает больше времени, несмотря на более быструю запись. Движок настроен только под 40-ядерный M5 Max, имеет ограничения вроде одного запроса за раз и дрейфа вывода при температуре ноль на экспериментальных бэкендах, поэтому ставить его стоит только если вы пишете в основном код на этом чипе и запускаете один запрос за раз.
Практика
- Что получишь
- Поймёте, что стоит за заголовком 200 токенов/с, как работает спекулятивное декодирование и почему скорость зависит от типа текста, а также получите критерии, чтобы решить, ставить ли Lithos Metal на свой Mac.
- Первый шаг
- Если у вас 40-ядерный M5 Max и вы пишете код, прочитайте readme репозитория Lithos Metal и сравните его с вашим текущим движком на одном и том же кодовом промпте.
- Цифры
- —38 токенов/с — теоретический потолок для 4-битной модели Qwen 3.8 27B на M5 Max с 40-ядерным GPU из-за пропускной способности памяти 614 ГБ/с
- —200 токенов/с — заявленная в заголовке скорость, которая по readme является проекцией при 6 принятых токенах из 8, без учёта времени на угадывание и проверку
- —80 токенов/с — измеренная сквозная генерация в исследовании репозитория при среднем 2,5 принятых догадках за проход
- —59 против 34 токенов/с — скорость Lithos на коде и на английской прозе соответственно, показывающая зависимость от типа текста
- Честно
- Явной рекламы в ролике нет: автор разбирает чужой движок и даёт ссылки на репозиторий и исследование. Для повторения не хватает точных команд установки и настроек запуска — их нужно брать из readme.
Если слова незнакомы — 7 терминов
- спекулятивное декодированиеметод ускорения генерации: маленькая модель угадывает следующие токены, а большая проверяет все догадки за один проход
- draft-модельмаленькая и быстрая модель-черновик, которая предлагает варианты продолжения текста
- префиллэтап чтения системного промпта, инструментов и контекста до начала генерации ответа
- токенминимальная единица текста, которую модель генерирует или читает (слово, кусок слова, символ)
- промпттекст-задание, которое пользователь отправляет модели
- агентпрограмма, которая сама выполняет шаги, читает файлы и вызывает инструменты
- 4-битная модельсжатая версия модели, где веса занимают меньше памяти, чем обычно, ценой небольшой потери точности
Связки из этого ролика
4 шт.- Lithos Metal + Qwen 3.8 27B + M5 Max
- OMLX + Qwen 3.8 27B
- MLX + Qwen built-in drafting
- Deep Spark draft model + Qwen 3.8 27B
Компоненты
11 шт.Формат: обзор · для продвинутых · уверенность разметки 0.85 · источник