Кэш экспертов llama.cpp: скорость MoE-моделей в 2 раза

Что в ролике
Запуск больших Mixture-of-Experts-моделей на локальной видеокарте упирался в то, что нужные эксперты часто лежат в обычной RAM и едут через PCIe, пока GPU простаивает. Новый hot expert cache в llama.cpp резервирует часть VRAM под кэш недавно использованных экспертов вместо того, чтобы держать целые слои. В официальном тесте модель Qwen 3.8 FlashNext Q40 размером около 94 ГБ на RTX 5090 ускорилась с 30,8 до 67,8 токена в секунду при 18,6 ГБ кэша, а частота попаданий составила 89%. Ранняя реализация с LRU-кэшем на 64 слота давала 67% попаданий, на 128 — 81%, потому что эксперты имеют временную локальность, а не постоянный «горячий» список. Экспериментальный форк для multi-GPU на двух RTX 3090 разогнал модель MiMo 132 ГБ с 4 до 10 токенов в секунду, а Qwen 3.8 FlashNext — с 28 до 47, и до 60 с MTP speculative decoding. Выигрыш не универсален: если модель уже помещается в VRAM или обычная загрузка слоёв хорошо сбалансирована, прироста почти нет, а обработка промпта может даже замедлиться. Официально в llama.cpp влит только однопользовательский и одно-GPU вариант, а агрессивный multi-GPU — отдельный форк.
Практика
- Что получишь
- Понимание, как кэш экспертов ускоряет MoE-модели, и на каких конфигурациях он даёт реальный прирост, а где почти бесполезен.
- Первый шаг
- Взять официальный llama.cpp, запустить свою MoE-модель с включённым expert cache и сравнить скорость генерации до и после.
- Цифры
- —2,2 раза — ускорение генерации Qwen 3.8 FlashNext Q40 на RTX 5090 с 18,6 ГБ кэша по сравнению с обычной загрузкой
- —89% — доля попаданий в кэш в самой быстрой конфигурации RTX 5090
- —2,5 раза — ускорение 132 ГБ модели MiMo на двух RTX 3090 в экспериментальном форке
- —94 ГБ — размер модели Qwen 3.8 FlashNext Q40, использованной в официальном бенчмарке
- Честно
- Официальный кэш в llama.cpp пока рассчитан на один GPU и малые батчи, а впечатляющие multi-GPU результаты — из отдельного экспериментального форка. Автор не рекламирует продукт, но указывает, что прирост зависит от RAM, PCIe и размера кэша, а обработка промпта в некоторых конфигурациях замедляется.
Если слова незнакомы — 5 терминов
- MoEархитектура модели, где на каждый токен активны лишь несколько экспертов из сотен
- VRAMпамять видеокарты, самая быстрая для вычислений на GPU
- PCIeшина между CPU и GPU, узкое место при подгрузке весов из системной памяти
- LRUалгоритм вытеснения, удаляющий из кэша данные, которые дольше всего не использовались
- MTP speculative decodingтехника ускорения, где модель предсказывает несколько следующих токенов сразу
Компоненты
1 шт.Формат: разбор · для практикующих · уверенность разметки 0.9 · источник