MoE-модели в llama.cpp: почти 4× быстрее на 24 ГБ

Что в ролике
Если у вас видеокарта с 24 ГБ VRAM, а модель в неё не влезает, главный тормоз — подкачка весов экспертов из обычной памяти, и новое предложение для llama.cpp пытается убрать лишнее согласование между CPU и GPU. Разработчик leech77 в issue 29949 встроил операции LRU decide и LRU fill прямо в граф вычислений на GPU, поэтому на каждый токен больше не нужно возвращать выбор роутера в CPU и ждать ответа. На Radeon RX 7900 XTX с Qwen 3.8 Flash Next в IQ3-квантизации скорость выросла с 9,7 до 37,2 токена в секунду при 160 слотах кэша на слой и попадании 89,4%. Со спекулятивным декодированием MTP тот же набор достиг 44,8 токена в секунду, а на код-генерации — около 50. Второй тест с IQ4 и бюджетом кэша около 6,4 ГБ показал 31,2 токена в секунду против 20,1 у уже встроенного кэша llama.cpp, то есть прирост 55%. На двух RTX 3090 конфигурация tensor split со спекулятивным декодированием добралась до 65,3 токена в секунду. Главная оговорка: это экспериментальная ветка с требованием весов в pinned-памяти, и независимый тест на PCIe 3.0 не выявил явного преимущества над существующим кэшем.
Практика
- Что получишь
- Понимание, почему кэш экспертов в llama.cpp стал быстрее и когда новая ветка имеет смысл; сможете оценить, стоит ли пробовать её для вашей GPU и модели.
- Первый шаг
- Найти issue 29949 в llama.cpp и собрать экспериментальную ветку, убедившись, что веса модели лежат в pinned-памяти и PCIe-слот не узкий.
- Цифры
- —9,7 → 37,2 токена/с — прирост на Radeon RX 7900 XTX с кэшем 160 слотов на слой без спекулятивного декодирования
- —89,4% — доля попаданий в кэш экспертов в основном тесте
- —31,2 против 20,1 токена/с — экспериментальный GPU-кэш против уже встроенного кэша llama.cpp во втором IQ4-тесте
- —65,3 токена/с — лучший результат на двух RTX 3090 в конфигурации tensor split с MTP
- Честно
- Продвижения продукта нет: ролик разбирает экспериментальный запрос на GitHub, который на момент видео ещё не влит в основную ветку llama.cpp. Для повторения нужны веса в pinned-памяти, на Windows лимиты памяти могут не дать кэшу включиться, а все цифры получены автором предложения или одним независимым тестом, где заметного выигрыша на PCIe 3.0 не было.
Если слова незнакомы — 7 терминов
- MoEмодель из нескольких экспертных подсетей, где на каждый токен активна лишь малая часть
- токенединица текста, которую модель генерирует или читает
- VRAMвидеопамять на GPU
- LRUправило вытеснения давно не использованных элементов кэша
- pinned-памятьобласть оперативной памяти, закреплённая за физическими адресами и быстрее читаемая через PCIe
- PCIeшина, по которой данные идут между CPU/RAM и GPU
- спекулятивное декодированиедополнительный механизм, который предлагает несколько токенов-кандидатов для параллельной проверки основной моделью
Связки из этого ролика
1 шт.- llama.cpp + Qwen 3.8 Flash Next
Компоненты
1 шт.Формат: разбор · для продвинутых · уверенность разметки 0.9 · источник