К содержимому
Дайджест

Кэш экспертов llama.cpp: скорость MoE-моделей в 2 раза

Code Unpacked·10 октября 2026·9:32
можно прочитать понять, как устроено
Открыть на YouTube
Разбор нового кэша экспертов в llama.cpp для тех, кто запускает большие MoE-модели локально и хочет ускорить генерацию без замены железа.

Что в ролике

Запуск больших Mixture-of-Experts-моделей на локальной видеокарте упирался в то, что нужные эксперты часто лежат в обычной RAM и едут через PCIe, пока GPU простаивает. Новый hot expert cache в llama.cpp резервирует часть VRAM под кэш недавно использованных экспертов вместо того, чтобы держать целые слои. В официальном тесте модель Qwen 3.8 FlashNext Q40 размером около 94 ГБ на RTX 5090 ускорилась с 30,8 до 67,8 токена в секунду при 18,6 ГБ кэша, а частота попаданий составила 89%. Ранняя реализация с LRU-кэшем на 64 слота давала 67% попаданий, на 128 — 81%, потому что эксперты имеют временную локальность, а не постоянный «горячий» список. Экспериментальный форк для multi-GPU на двух RTX 3090 разогнал модель MiMo 132 ГБ с 4 до 10 токенов в секунду, а Qwen 3.8 FlashNext — с 28 до 47, и до 60 с MTP speculative decoding. Выигрыш не универсален: если модель уже помещается в VRAM или обычная загрузка слоёв хорошо сбалансирована, прироста почти нет, а обработка промпта может даже замедлиться. Официально в llama.cpp влит только однопользовательский и одно-GPU вариант, а агрессивный multi-GPU — отдельный форк.

Практика

Что получишь
Понимание, как кэш экспертов ускоряет MoE-модели, и на каких конфигурациях он даёт реальный прирост, а где почти бесполезен.
Первый шаг
Взять официальный llama.cpp, запустить свою MoE-модель с включённым expert cache и сравнить скорость генерации до и после.
Цифры
  • —2,2 раза — ускорение генерации Qwen 3.8 FlashNext Q40 на RTX 5090 с 18,6 ГБ кэша по сравнению с обычной загрузкой
  • —89% — доля попаданий в кэш в самой быстрой конфигурации RTX 5090
  • —2,5 раза — ускорение 132 ГБ модели MiMo на двух RTX 3090 в экспериментальном форке
  • —94 ГБ — размер модели Qwen 3.8 FlashNext Q40, использованной в официальном бенчмарке
Честно
Официальный кэш в llama.cpp пока рассчитан на один GPU и малые батчи, а впечатляющие multi-GPU результаты — из отдельного экспериментального форка. Автор не рекламирует продукт, но указывает, что прирост зависит от RAM, PCIe и размера кэша, а обработка промпта в некоторых конфигурациях замедляется.
Если слова незнакомы — 5 терминов

Компоненты

1 шт.

Формат: разбор · для практикующих · уверенность разметки 0.9 · источник