llama.cpp 1,0: CPU-share для кэша экспертов

Что в ролике
Если вы гоняете модель крупнее видеокарты, релиз llama.cpp 1,0 приносит настраиваемый CPU share для кэша экспертов: часть промахов теперь считает процессор прямо в оперативной памяти, а GPU параллельно обрабатывает свои попадания. На RTX 3090 один и тот же кэш с share 0,95 дал 31,8 токен/с против 19,5 при share 0, то есть плюс 63%, хотя часть прироста оказалась связана с режимом загрузки direct IO. Кэш может и замедлить: на RTX 2080 Ti кэш 2,7 ГБ с share 0 выдал 23,5 токен/с, медленнее, чем без кэша, а тот же кэш с share 0,95 — уже 51,9 токен/с. В релиз также вошли умное удержание экспертов с затухающим счётом (плюс 6–7% на тёплом кэше), FP8 KV cache и фикс, из-за которого CPU ждал GPU в каждом слое на Gemma 4 (плюс 7–9%). Для подбора параметров появился tuning script: он шесть раз запускает сервер с разными размерами кэша и share, замеряет загрузку экспертов и скорость CPU и рекомендует минимальный share в пределах 5% от лучшего результата. Прямого замера llama.cpp 1,0 против Strata на одной машине пока нет, а по ближайшим опубликованным числам разрыв сократился примерно с четырёх раз до двух, но Strata тоже успела обновиться. Включить фичу просто так не выйдет: кэш по умолчанию выключен, эксперты должны лежать в RAM через CPU MoE, затем нужно выставить MoE cache MiB и CPU share или отдать это tuning script.
Практика
- Что получишь
- Поймёте, когда host memory expert cache с CPU share действительно ускоряет генерацию, как подобрать параметры под свою машину и почему на быстрой шине share может навредить.
- Первый шаг
- Обновиться до llama.cpp 1,0, держать эксперты в RAM через CPU MoE и запустить tuning script перед обычной командой сервера.
- Цифры
- —63% — прирост на RTX 3090 от изменения CPU share при том же размере кэша (19,5 → 31,8 токен/с)
- —42,1 → 51,9 токен/с — на RTX 2080 Ti кэш 2,7 ГБ с share 0,95 обгоняет вариант вообще без кэша
- —512 экспертов — столько в каждом слое Qwen 3.8 Flash Next, из них токен использует 10
- —6 запусков — столько делает tuning script, подбирая размер кэша и share на вашей машине
- Честно
- Автор не продвигает платный продукт, в конце только просит подписаться на канал. Прямого теста llama.cpp 1,0 против Strata на одной машине в ролике нет, все цифры собраны из релизных заметок и сообщений тестеров. Кэш выключен по умолчанию и требует ручных флагов или tuning script; на машинах с быстрой шиной PCIe 5 доля CPU выше нуля может дать минус 15% вместо плюса.
Если слова незнакомы — 4 терминов
- MoEархитектура mixture of experts, где в каждом слое сотни специализированных блоков, а на токен активируются единицы
- KV cacheкэш пар ключ-значение для контекста, чтобы не пересчитывать диалог с нуля
- direct IOрежим загрузки весов, при котором они закрепляются в оперативной памяти и быстрее копируются на GPU
- токен/сскорость генерации в токенах за секунду
Компоненты
6 шт.Формат: реакция на новость · для продвинутых · уверенность разметки 0.9 · источник