К содержимому
Дайджест

Eagle 4: 3,6x ускорение Qwen 3 27B, но не для всех

RepoChad·21 октября 2026·13:14
можно прочитать понять, как устроено промо
Открыть на YouTube
Разбор нового метода спекулятивного декодирования Eagle 4 для ускорения генерации Qwen 3 27B, его реальных ограничений и альтернатив для локального запуска.

Что в ролике

Если вы запускаете Qwen 3 27B на одной видеокарте, то знаете, как медленно модель набирает текст, и именно эту проблему решает вышедший 20 октября Eagle 4. Авторы заявляют ускорение в 3,59 раза по сравнению с обычной генерацией, но эта цифра получена на четырёх Nvidia B300 с одним пользователем и нулевой температурой, что далеко от типичной чат-нагрузки. При температуре 1 Eagle 4 даёт 2,59x, а конкурент DeepFlash 2 — 2,39x, то есть разрыв сокращается до примерно 8%, а при 512 одновременных пользователях Eagle 4 остаётся впереди с 1,34x, тогда как DeepFlash 2 и DeepSpark становятся медленнее, чем без ускорения. Секрет Eagle 4 в том, что он использует однослойный драфтер вместо пятислойных у конкурентов и сначала отбирает короткий список из 128 вероятных токенов, который содержит правильный ответ в 98% случаев, что снижает вычисления. На бумаге заявлены и другие цифры: на AMD MI355X — 3,49x, на Nemotron 3.5 Super (120B A12B) — 2,74x против 2,41x у встроенного MTP, а на телефоне Motorola Razr 70 Ultra с 4-битной Gemma 4 на CPU скорость выросла с 23 до 83 токенов в секунду. Однако пока Eagle 4 нельзя запустить дома: доступен только плагин для патченных версий SGLang, vLLM и TokenSpeed, протестированных на B300 и MI355X, а для llama.cpp и LM Studio поддержки нет, и даже тестовый drafter для Qwen 27B весит 6,2 ГБ и не выпущен для телефона. Автор советует не ждать Eagle 4, а включить встроенный MTP в Qwen 3 27B (ускорение 2,2x), затем попробовать DeepFlash 2 или DeepSpark в LM Studio, которые дают около 2,7-2,8x на одном пользователе.

Практика

Что получишь
Понимание, почему заявленное ускорение Eagle 4 в 3,6 раза — это лучший случай, а не типичный, и какие реально доступные методы ускорения Qwen 3 27B стоит использовать на своём железе.
Первый шаг
Включите встроенный MTP для Qwen 3 27B в llama.cpp или LM Studio — это бесплатно и уже поддерживается.
Цифры
  • —3,59x — ускорение Eagle 4 при температуре 0, одном пользователе и на четырёх Nvidia B300
  • —1,34x — ускорение Eagle 4 при 512 одновременных пользователях, тогда как DeepFlash 2 даёт 0,78x, а DeepSpark — 0,67x от базовой скорости
  • —83 токена/с — скорость генерации на телефоне Motorola Razr 70 Ultra с 4-битной Gemma 4 и Eagle 4, против 23 токенов/с без ускорения
  • —6,2 ГБ — размер drafter Eagle 4 для Qwen 27B, что составляет заметную часть памяти даже до загрузки основной модели
Честно
Автор в конце ролика рекламирует членство на канале для приоритетных ответов в комментариях. Все цифры Eagle 4 взяты из статьи самой команды Eagle AI, независимого воспроизведения нет, а публичный релиз даёт лишь 3,3-3,4x на SGLang и около 3x на vLLM. Демонстрация на телефоне (83 токена/с) использует модифицированный llama.cpp и drafter, которые ещё не опубликованы, а для запуска на своей машине потребуются патченные движки и совместимые GPU (B300/MI355X).
Если слова незнакомы — 6 терминов

Связки из этого ролика

7 шт.

Компоненты

14 шт.

Формат: разбор · для практикующих · уверенность разметки 0.95 · источник