К содержимому
Дайджест

200 токенов/с на Mac M5: реальные цифры и подвох

Kai·16 октября 2026·19:47
можно прочитать выбрать инструмент
Открыть на YouTube
Разбор рекламного заголовка о 200 токенах в секунду на Mac M5 с объяснением реальных тестов и рекомендациями, кому ставить движок Lithos Metal.

Что в ролике

Если вы запускаете локальные модели на Mac и устали от медленной генерации, заголовок о 200 токенах в секунду на M5 Max звучит как прорыв, но реальные цифры ниже и сильно зависят от того, что именно вы пишете. Физический потолок для 4-битной модели Qwen 3.8 27B на чипе M5 Max с 40-ядерным GPU (пропускная способность памяти 614 ГБ/с) составляет около 38 токенов/с, а обычное декодирование без трюков показало 30,5 токенов/с. Заявленные 200 токенов/с получены с помощью спекулятивного декодирования: маленькая draft-модель Deep Spark на 1,1 ГБ угадывает 7 токенов, а большая модель проверяет их за один проход памяти, но в readme прямо сказано, что 168 токенов/с — это проекция при шести принятых догадках, без учёта времени на угадывание и проверку. В измеренном исследовании из репозитория средний показатель принятых догадок оказался 2,5, что даёт около 80 токенов/с сквозной генерации — это вдвое выше аппаратного потолка, но далеко от 200. На практике Lithos быстрее на коде (59 токенов/с против 55 у MLX), но медленнее на английской прозе (34 против 38), а скорость чтения промпта у него сильно ниже: 374 токенов/с против 948 у OMLX на 4000 токенах, из-за чего полная агентная сессия занимает больше времени, несмотря на более быструю запись. Движок настроен только под 40-ядерный M5 Max, имеет ограничения вроде одного запроса за раз и дрейфа вывода при температуре ноль на экспериментальных бэкендах, поэтому ставить его стоит только если вы пишете в основном код на этом чипе и запускаете один запрос за раз.

Практика

Что получишь
Поймёте, что стоит за заголовком 200 токенов/с, как работает спекулятивное декодирование и почему скорость зависит от типа текста, а также получите критерии, чтобы решить, ставить ли Lithos Metal на свой Mac.
Первый шаг
Если у вас 40-ядерный M5 Max и вы пишете код, прочитайте readme репозитория Lithos Metal и сравните его с вашим текущим движком на одном и том же кодовом промпте.
Цифры
  • —38 токенов/с — теоретический потолок для 4-битной модели Qwen 3.8 27B на M5 Max с 40-ядерным GPU из-за пропускной способности памяти 614 ГБ/с
  • —200 токенов/с — заявленная в заголовке скорость, которая по readme является проекцией при 6 принятых токенах из 8, без учёта времени на угадывание и проверку
  • —80 токенов/с — измеренная сквозная генерация в исследовании репозитория при среднем 2,5 принятых догадках за проход
  • —59 против 34 токенов/с — скорость Lithos на коде и на английской прозе соответственно, показывающая зависимость от типа текста
Честно
Явной рекламы в ролике нет: автор разбирает чужой движок и даёт ссылки на репозиторий и исследование. Для повторения не хватает точных команд установки и настроек запуска — их нужно брать из readme.
Если слова незнакомы — 7 терминов

Связки из этого ролика

4 шт.

Компоненты

11 шт.

Формат: обзор · для продвинутых · уверенность разметки 0.85 · источник