К содержимому
Дайджест

MoE-модели в llama.cpp: почти 4× быстрее на 24 ГБ

Code Unpacked·21 октября 2026·9:15
можно прочитать понять, как устроено
Открыть на YouTube
Разбор нового предложения для llama.cpp, ускоряющего работу больших MoE-моделей на GPU, для тех, кто запускает открытые модели локально.

Что в ролике

Если у вас видеокарта с 24 ГБ VRAM, а модель в неё не влезает, главный тормоз — подкачка весов экспертов из обычной памяти, и новое предложение для llama.cpp пытается убрать лишнее согласование между CPU и GPU. Разработчик leech77 в issue 29949 встроил операции LRU decide и LRU fill прямо в граф вычислений на GPU, поэтому на каждый токен больше не нужно возвращать выбор роутера в CPU и ждать ответа. На Radeon RX 7900 XTX с Qwen 3.8 Flash Next в IQ3-квантизации скорость выросла с 9,7 до 37,2 токена в секунду при 160 слотах кэша на слой и попадании 89,4%. Со спекулятивным декодированием MTP тот же набор достиг 44,8 токена в секунду, а на код-генерации — около 50. Второй тест с IQ4 и бюджетом кэша около 6,4 ГБ показал 31,2 токена в секунду против 20,1 у уже встроенного кэша llama.cpp, то есть прирост 55%. На двух RTX 3090 конфигурация tensor split со спекулятивным декодированием добралась до 65,3 токена в секунду. Главная оговорка: это экспериментальная ветка с требованием весов в pinned-памяти, и независимый тест на PCIe 3.0 не выявил явного преимущества над существующим кэшем.

Практика

Что получишь
Понимание, почему кэш экспертов в llama.cpp стал быстрее и когда новая ветка имеет смысл; сможете оценить, стоит ли пробовать её для вашей GPU и модели.
Первый шаг
Найти issue 29949 в llama.cpp и собрать экспериментальную ветку, убедившись, что веса модели лежат в pinned-памяти и PCIe-слот не узкий.
Цифры
  • —9,7 → 37,2 токена/с — прирост на Radeon RX 7900 XTX с кэшем 160 слотов на слой без спекулятивного декодирования
  • —89,4% — доля попаданий в кэш экспертов в основном тесте
  • —31,2 против 20,1 токена/с — экспериментальный GPU-кэш против уже встроенного кэша llama.cpp во втором IQ4-тесте
  • —65,3 токена/с — лучший результат на двух RTX 3090 в конфигурации tensor split с MTP
Честно
Продвижения продукта нет: ролик разбирает экспериментальный запрос на GitHub, который на момент видео ещё не влит в основную ветку llama.cpp. Для повторения нужны веса в pinned-памяти, на Windows лимиты памяти могут не дать кэшу включиться, а все цифры получены автором предложения или одним независимым тестом, где заметного выигрыша на PCIe 3.0 не было.
Если слова незнакомы — 7 терминов

Связки из этого ролика

1 шт.

Компоненты

1 шт.

Формат: разбор · для продвинутых · уверенность разметки 0.9 · источник