К содержимому
Дайджест

Форк llama.cpp обгоняет Strata на 47% на AMD

Code Unpacked·30 октября 2026·11:24
можно прочитать выбрать инструмент
Открыть на YouTube
Технический разбор нового форка llama.cpp для запуска Qwen 3,8 Flash Next на AMD-картах и сравнение его скорости с Strata.

Что в ролике

Владельцам AMD-видеокарт теперь есть смысл присмотреться к Avalon — форку llama.cpp, который на Radeon RX 7900 XT с CPU Ryzen 7 3800X и 20 ГБ VRAM выдаёт 91 токен/с на коротком промпте со спекулятивным декодированием, тогда как Strata на той же машине дала 61,9 токен/с, то есть на 47% быстрее. Avalon заточен под единственную модель Qwen 3,8 Flash Next: 48 слоёв, 512 экспертов на слой, 10 активных на токен, файл модели весит 89 ГБ, из которых 4,6 ГБ плотных весов и кэш экспертов 9–14 ГБ лежат в видеопамяти, остальное — в системной RAM. Разработчик объясняет выигрыш тем, что все каналы заняты постоянно: VRAM, CPU, PCIe и GPU работают параллельно, а кэш экспертов отдаёт свободные буферы под вычисления. Сильнее всего ускоряет спекулятивное декодирование — облегчённая черновая голова на 1,5 ГБ с урезанным словарём до 65 000 частых токенов согласуется с основной моделью в 80,7% случаев и добавляет 46% к базовой скорости. Проверка качества через перплексию на «Войне и мире», «Отверженных» и исходниках SQLite и CPython показала 1,443 у файла Avalon против 1,469 у Strata, то есть чуть лучше, но реальные ответы на задачах никто не сравнивал. Важная деталь: система с 32 ГБ ОЗУ тянет 89-гигабайтную модель за счёт memory mapping, скорость генерации почти не падает (91,2 → 89 токен/с), а вот чтение длинного промпта замедляется на 30%. Сейчас это проект одного разработчика для одной модели и карт RDNA3 под Linux с ROCm, но он показал, что отставание llama.cpp было не пределом кода, а вопросом специализации.

Практика

Что получишь
Понимание, чем Avalon быстрее Strata, на каких машинах его ставить и какие оговорки скрываются за цифрой 47%.
Первый шаг
Если у вас Radeon RX 7900 XT/XTX с Linux и 32 ГБ ОЗУ, запустить однострочный установщик Avalon и проверить скорость на коротком промпте.
Цифры
  • —91 токен/с — скорость Avalon на коротком промпте с 32 000 токенов контекста и спекулятивным декодированием
  • —61,9 токен/с — скорость Strata в том же тесте, разница 47% в пользу Avalon
  • —89 ГБ — размер файла модели Qwen 3,8 Flash Next
  • —32 ГБ ОЗУ достаточно для запуска этой модели, скорость генерации падает с 91,2 до 89 токен/с
Честно
Автор ничего не продаёт и не даёт партнёрских ссылок, но и сам движок не запускал. Все цифры — замеры разработчика Avalon, независимых проверок пока нет; Strata тестировалась на версии 0.1.43 и с другим файлом квантования, поэтому сравнение не строгое. Проект работает только с одной моделью Qwen 3,8 Flash Next и картами RDNA3 на Linux с ROCm, Windows не тестировалась.
Если слова незнакомы — 8 терминов

Связки из этого ролика

2 шт.

Компоненты

6 шт.

Формат: обзор · для продвинутых · уверенность разметки 0.85 · источник