Qwen 3.8 27B на Mac: 2× из-за черновой модели

Что в ролике
Локальная модель Qwen 3.8 27B на Mac часто отвечает медленно не из-за слабого чипа, а из-за того, что каждый токен заставляет чип перечитывать все 15 ГБ весов из памяти. Автор разбирает вирусный бенчмарк Splash от Incoai, который показал 74 токена в секунду на 48-гигабайтном M5 Pro и 144 на M5 Max при теоретическом потолке памяти 20 токенов в секунду. Оказалось, что ускорение даёт не сам движок, а спекулятивное декодирование: маленькая черновая модель Dlash 2 на 1,2 ГБ предлагает по несколько токенов, а большая модель проверяет их за один проход по памяти. Реальный заголовок про 2× — это сравнение Splash с MLX, у которого на тот момент не было поддержки черновой модели для Qwen, то есть сравнение спекулятивного декодирования с чистой авторегрессией. При этом Qwen 3.8 27B уже обучена с предсказанием нескольких токенов, поэтому включить встроенную черновую голову можно бесплатно в существующей модели, задав draft depth 2–3. Автор также показывает, что настоящее узкое место — время до первого токена: на холодном кэше с промптом в 32 000 токенов Splash ждал 96 секунд, а на тёплом — 282 миллисекунды, и именно кэш даёт 6-кратный выигрыш. Splash имеет смысл только на Mac с M3 и новее, 36+ ГБ памяти (рекомендовано 48) и macOS 26.4, а формат модели проприетарный, поэтому скачивать нужно отдельный пакет на 17,4 ГБ.
Практика
- Что получишь
- Понять, что скорость локальной модели на Mac упирается в память, а не в вычислительный чип, и что реальное ускорение даёт спекулятивное декодирование. Научиться включать встроенную мультитокенную предсказательную голову в Qwen 3.8 27B и правильно замерять своё время от отправки промпта до конца ответа.
- Первый шаг
- Если у вас уже стоит Qwen 3.8 27B в MLX или llama.cpp, включите multi-token prediction (или draft model) и поставьте draft depth 2 или 3, затем замерьте полное время ответа холодным и тёплым кэшем.
- Цифры
- —144 токена в секунду — скорость Splash с Qwen 3.8 27B на MacBook Pro с M5 Max
- —74 токена в секунду — скорость Splash на 48-гигабайтном M5 Pro в бенчмарке Incoai
- —96 секунд — ожидание первого токена на холодном кэше при промпте в 32 000 токенов
- —282 миллисекунды — ожидание первого токена на тёплом кэше для того же промпта
- Честно
- Прямой рекламы нет, но ролик целиком построен вокруг Splash от Incoai, и цифры взяты из их бенчмарков с оговоркой, что сравнение не изолирует движок. Для повторения в пересказе не хватает точных команд включения multi-token prediction в конкретном интерфейсе (LM Studio, llama.cpp или MLX) — их придётся смотреть на экране. Splash требует Mac с M3 или новее, macOS 26.4, минимум 36 ГБ памяти и проприетарный пакет модели, поэтому на M1/M2 или 16/24 ГБ он не заработает.
Если слова незнакомы — 4 терминов
- спекулятивное декодированиеметод, при котором маленькая модель быстро угадывает токены, а большая проверяет их пачкой за один проход
- draft depthсколько токенов вперёд пытается предсказать черновая модель
- токенминимальная единица текста, которую модель обрабатывает за один шаг
- авторегрессияпоследовательная генерация текста по одному токену без черновых подсказок
Связки из этого ролика
2 шт.- Splash + Qwen 3.8
- LM Studio + Splash
Компоненты
10 шт.Формат: разбор · для практикующих · уверенность разметки 0.82 · источник