Кэш экспертов в llama.cpp: ускорение 125B MoE до 4×

Что в ролике
Если у вас видеокарта на 24 ГБ и вы запускаете 125-миллиардную MoE-модель вроде Qwen 3.8 Flash.next, раньше получалось около 9,7 токена в секунду — медленнее чтения человека. Модель состоит из 48 слоёв по 512 экспертов, но на каждый токен работает только 10 экспертов на слой, поэтому узким местом стали 48 пересылок между RAM и GPU на каждый токен. В llama.cpp 7 октября влили PR №29887 от Lick77 с кэшем отдельных экспертов в свободной VRAM: вместо целых слоёв в кэш кладутся только нужные эксперты, и при попадании они выполняются на GPU без копирования. На той же 24-гигабайтной карте скорость выросла с 9,7 до 37,2 токена в секунду, то есть в 3,8 раза, но это сравнение с полностью отключённым GPU-размещением экспертов. Более честные цифры: 2,2× в официальной документации llama.cpp и 1,55× на экспериментальной ветке Lick77, если сравнивать с уже оптимизированным размещением целых слоёв. Всё упирается в hit rate и объём свободной VRAM: при 4-битном квантовании эксперты весят около 65 ГБ, для безубыточности нужно примерно 16 ГБ кэша, а ниже 85% попаданий кэш замедляет — так, на 12 ГБ RTX 4070 Super все варианты кэша оказались медленнее базовых 14,8 токена в секунду. Ещё на результат влияют PCIe-слот и тип нагрузки: медленный слот или длинные промпты могут съесть весь выигрыш, потому что кэш не работает на чтении промпта. Для максимальной скорости именно Flash.next стоит попробовать специализированный движок Strata: на одном тесте он дал 85,8 токена в секунду против 58,1 у лучшей конфигурации llama.cpp.
Практика
- Что получишь
- Поймёте, стоит ли включать кэш экспертов на вашей карте, и сможете за 15 минут замерить собственную скорость вместо слепого доверия чужим бенчмаркам.
- Первый шаг
- Обновите llama.cpp до сборки B11480 или новее и прогоните модель с обычным автоматическим размещением экспертов, записав скорость генерации и чтения промпта перед включением кэша.
- Цифры
- —9,7 → 37,2 токена/с — рост на 24 ГБ карте после включения кэша
- —48 слоёв × 512 экспертов = 24 576 экспертов всего, на токен активны 480 (2%)
- —около 65 ГБ весят эксперты при 4-битном квантовании; для безубыточности нужно около 16 ГБ кэша
- —85,8 против 58,1 токена/с — Strata против лучшей конфигурации llama.cpp на одном тесте
- Честно
- Автор просит подписаться в конце, но рекламы или своих продуктов в ролике нет. Часть цифр — результаты отдельных владельцев из ветки pull request, а не официальные замеры, и экспериментальная ветка Lick77 всё ещё не влита в основную версию и нестабильна на Windows.
Если слова незнакомы — 5 терминов
- MoEархитектура mixture of experts, где модель состоит из множества специализированных подсетей-экспертов, но на каждый запрос активна лишь малая часть
- квантованиесжатие весов модели до меньшей точности, например 4 бита, чтобы уменьшить потребление памяти
- hit rateдоля случаев, когда нужный эксперт уже лежит в кэше видеопамяти и его не надо копировать из оперативной памяти
- VRAMвидеопамять графической карты, быстрая память для вычислений на GPU
- PCIeшина обмена данными между центральным процессором и видеокартой, её пропускная способность влияет на скорость копирования экспертов
Компоненты
3 шт.Формат: разбор · для продвинутых · уверенность разметки 0.85 · источник