К содержимому
Дайджест

Почему Strata быстрее llama.cpp на 12 ГБ: разбор бенчмарка

Code Unpacked·26 октября 2026·13:03
можно прочитать понять, как устроено
Открыть на YouTube
Разбор сравнительного бенчмарка движков Strata и llama.cpp на одной модели Qwen и видеокарте 12 ГБ, для тех, кто запускает локальные LLM и хочет понять, чем вызван разрыв в скорости.

Что в ролике

Если у вас видеокарта на 12 ГБ и вы запускаете локально Qwen 3.8 Flash Next с длинным контекстом, этот разбор показывает, почему Strata обгоняет llama.cpp. На RTX 3060 с одинаковым GGUF-файлом, промптом 4000 токенов и одинаковыми настройками llama.cpp выдал 9,1 токен/с, а Strata — 41,6, при этом первый токен приходит через 12,4 против 4,4 секунды. На промпте 32 000 токенов генерация у Strata идёт 41,8 токен/с против 8,8, а до первого токена — 30,5 против 95 секунд. Причина в том, что Qwen — смесь экспертов: в каждом слое 512 экспертов, но токен использует только 10, а Strata держит горячих экспертов в VRAM, попадая в 98,7% случаев, тогда как llama.cpp переносит целые слои экспертов в обычную память и упирается в CPU. Дополнительный прирост даёт спекулятивное декодирование: модель сама угадывает следующие токены, и 55–68% догадок принимаются. Главная оговорка: llama.cpp тестировался на сборке от 5 октября, а через два дня в нём появился собственный экспертный кэш, поэтому разрыв в 4,5 раза может быть уже меньше. Независимые тесты подтверждают превосходство Strata от 2,7 до 4,5 раза, но на моделях, полностью помещающихся в VRAM, Strata может уступать.

Практика

Что получишь
Понять, почему Strata быстрее на Qwen 3.8 Flash и когда выбирать его, а когда остаться на llama.cpp, с конкретными цифрами и оговорками.
Первый шаг
Если у вас карта 12–24 ГБ и вы работаете с Qwen 3.8 Flash, попробуйте запустить один и тот же GGUF в Strata и в свежем llama.cpp с включённым экспертным кэшем и сравните скорость у себя.
Цифры
  • —9,1 токен/с — llama.cpp на RTX 3060 с промптом 4000 токенов; 41,6 токен/с — Strata на той же карте (разрыв 4,5 раза)
  • —98,7% — доля попаданий в экспертный кэш Strata на RTX 3090 при 10 500 экспертах из 24 576 на GPU
  • —30,5 против 95 секунд — время до первого токена на промпте 32 000 токенов у Strata и llama.cpp
Честно
Цифры базового бенчмарка опубликованы самим проектом Strata, автор их не перепроверял и в ролике это прямо говорит. Часть независимых тестов есть, но мультиюзер-сравнения двух движков на этой модели до сих пор нет. Продуктов или курсов автор не продвигает, однако многие таблицы и настройки видны только на экране, так что для точного повторения замеров ролик придётся смотреть.
Если слова незнакомы — 6 терминов

Связки из этого ролика

2 шт.

Компоненты

3 шт.

Формат: разбор · для практикующих · уверенность разметки 0.9 · источник