К содержимому
Дайджест

Патч tandem.cpp ускоряет Qwen 3,8 в 3,3 раза

Code Unpacked·6 ноября 2026·11:29
можно прочитать выбрать инструмент
Открыть на YouTube
Разбор патча tandem.cpp для llama.cpp, который ускоряет большие MoE-модели на одной видеокарте Nvidia в Linux — для тех, кто гоняет локальный инференс и ищет альтернативу Strata.

Что в ролике

Если вы запускаете большие MoE-модели вроде Qwen 3,8 Flash Next на одной RTX 4090 с 24 ГБ, патч tandem.cpp для llama.cpp поднимает скорость с 29,8 до 97,3 токена в секунду — в 3,3 раза без смены файла модели и железа. Это не отдельный движок и не форк, а набор патчей на 8 700 строк в 35 файлах, который разработчик ewhacc опубликовал на GitHub под MIT-лицензией. Вместо того чтобы по слоям фиксировать, какие эксперты считает GPU, а какие CPU, tandem.cpp держит всех экспертов в системной памяти и оставляет в видеопамяти кэш недавно использованных экспертов, а промахи делит между CPU и копированием по PCIe по правилу движка Strata. Дополнительно включены быстрые ядра, оптимизации для gated delta net и уменьшенная с 3,6 до 1,8 ГБ черновая голова MTP. По тестам того же разработчика на GSM8K на потребительском ПК с i5-12400F, 64 ГБ DDR4 и RTX 4090 точность остаётся в пределах шума, top-токен совпадает с обычным llama.cpp в 96,1% случаев, а perplexity не меняется. Сравнение со Strata в точном режиме показывает почти паритет: 97,3 против 100,3 токена в секунду на greedy и на 48 ГБ рабочей станции tandem.cpp даже слегка обгоняет при одинаковом размере кэша. Остаются ограничения: проект заточен под одного пользователя, Linux и Nvidia CUDA, а на моделях, которые сильно больше оперативной памяти и подгружаются с SSD, он пока медленнее обычного llama.cpp.

Практика

Что получишь
Поймёте, где патч даёт трёхкратный прирост, на каком железе и при каких ограничениях, и сможете решить, пробовать ли его вместо Strata или обычного llama.cpp с собственным кэшем экспертов.
Первый шаг
Скачайте llama.cpp с коммита от 28 октября, примените патч из репозитория ewhacc/tandem.cpp и запустите встроенный скрипт сборки.
Цифры
  • —29,8 → 97,3 токена в секунду — скорость Qwen 3,8 Flash Next на RTX 4090 до и после патча
  • —3,3 раза — прирост в основном тесте на i5-12400F, 64 ГБ DDR4 и RTX 4090
  • —8 700 строк в 35 файлах — объём патча tandem.cpp
  • —96,1% — совпадение top-токена с обычным llama.cpp при включённых оптимизациях
Честно
Все цифры в обзоре опубликованы разработчиком tandem.cpp, автор видео не перепроверял их самостоятельно. Для повторения нужны Linux и CUDA, Windows и AMD пока не поддерживаются, а проект рассчитан на одного пользователя. В конце автор просит подписаться и поставить лайк — это стандартная просьба, другой рекламы нет.
Если слова незнакомы — 7 терминов

Связки из этого ролика

2 шт.

Компоненты

4 шт.

Формат: обзор · для продвинутых · уверенность разметки 0.9 · источник