К содержимому
Дайджест

llama.cpp 1,0: CPU-share для кэша экспертов

Code Unpacked·14 ноября 2026·11:34
текст даёт основное что произошло
Открыть на YouTube
Технический разбор релиза llama.cpp 1,0 и новой настройки CPU share для владельцев локальных моделей, которые хотят ускорить инференс без покупки новой видеокарты.

Что в ролике

Если вы гоняете модель крупнее видеокарты, релиз llama.cpp 1,0 приносит настраиваемый CPU share для кэша экспертов: часть промахов теперь считает процессор прямо в оперативной памяти, а GPU параллельно обрабатывает свои попадания. На RTX 3090 один и тот же кэш с share 0,95 дал 31,8 токен/с против 19,5 при share 0, то есть плюс 63%, хотя часть прироста оказалась связана с режимом загрузки direct IO. Кэш может и замедлить: на RTX 2080 Ti кэш 2,7 ГБ с share 0 выдал 23,5 токен/с, медленнее, чем без кэша, а тот же кэш с share 0,95 — уже 51,9 токен/с. В релиз также вошли умное удержание экспертов с затухающим счётом (плюс 6–7% на тёплом кэше), FP8 KV cache и фикс, из-за которого CPU ждал GPU в каждом слое на Gemma 4 (плюс 7–9%). Для подбора параметров появился tuning script: он шесть раз запускает сервер с разными размерами кэша и share, замеряет загрузку экспертов и скорость CPU и рекомендует минимальный share в пределах 5% от лучшего результата. Прямого замера llama.cpp 1,0 против Strata на одной машине пока нет, а по ближайшим опубликованным числам разрыв сократился примерно с четырёх раз до двух, но Strata тоже успела обновиться. Включить фичу просто так не выйдет: кэш по умолчанию выключен, эксперты должны лежать в RAM через CPU MoE, затем нужно выставить MoE cache MiB и CPU share или отдать это tuning script.

Практика

Что получишь
Поймёте, когда host memory expert cache с CPU share действительно ускоряет генерацию, как подобрать параметры под свою машину и почему на быстрой шине share может навредить.
Первый шаг
Обновиться до llama.cpp 1,0, держать эксперты в RAM через CPU MoE и запустить tuning script перед обычной командой сервера.
Цифры
  • —63% — прирост на RTX 3090 от изменения CPU share при том же размере кэша (19,5 → 31,8 токен/с)
  • —42,1 → 51,9 токен/с — на RTX 2080 Ti кэш 2,7 ГБ с share 0,95 обгоняет вариант вообще без кэша
  • —512 экспертов — столько в каждом слое Qwen 3.8 Flash Next, из них токен использует 10
  • —6 запусков — столько делает tuning script, подбирая размер кэша и share на вашей машине
Честно
Автор не продвигает платный продукт, в конце только просит подписаться на канал. Прямого теста llama.cpp 1,0 против Strata на одной машине в ролике нет, все цифры собраны из релизных заметок и сообщений тестеров. Кэш выключен по умолчанию и требует ручных флагов или tuning script; на машинах с быстрой шиной PCIe 5 доля CPU выше нуля может дать минус 15% вместо плюса.
Если слова незнакомы — 4 терминов

Компоненты

6 шт.

Формат: реакция на новость · для продвинутых · уверенность разметки 0.9 · источник