Avalon обгоняет Strata на 47% для AMD 7900 XT

Что в ролике
Если у вас AMD Radeon RX 7900 XT и локальные LLM разочаровывают скоростью, новый бенчмарк Avalon против Strata обещает 47% прироста (91 токен/с против 61,9) на модели Qwen 3 8B Flash Next, которая на деле является смесью экспертов на 125 млрд параметров. Сравнение провели честно: одна машина, одинаковые настройки генерации, медиана трёх запусков, но файлы моделей у движков разные. Avalon — это форк llama.cpp начала октября, вобравший экспертный кеш из boon llama.cpp, квантование из ikllama.cpp и идеи самой Strata, а все ядра для GPU и CPU написала Claude Opus 5.5 под руководством автора. Прирост скорости даёт агрессивный экспертный кеш (вся неиспользуемая видеопамять отдаётся под кеш), параллельная работа GPU и восьми ядер CPU, а также дешёвая голова спекулятивного декодирования, которая угадывает верно в 80,7% случаев и даёт итоговое ускорение в 1,47 раза. Железо скромное: подержанная RX 7900 XT за 500 евро, Ryzen 7 3800 XT на плате B450 с PCIe 3, 64 ГБ DDR4-3200, а файл модели весит 89 ГБ и целиком в видеопамять не помещается. Но этот выигрыш привязан к конкретной машине: на видеокартах RDNA 4 вроде R9 700 Strata уже выдаёт 94,6 токен/с (выше результата Avalon), на RTX 4090 у них паритет (120,5), а на двух W7800 Avalon медленнее из-за упирания в compute. Поэтому таблица измеряет разницу между рабочими столами авторов, а не универсальное превосходство движка: для владельцев 7900 XT на Linux с этой конкретной моделью Avalon сейчас лучший вариант, а Strata остаётся более полным проектом для других моделей, Windows и новых карт AMD.
Практика
- Что получишь
- Поймёте, как читать бенчмарки инференса и почему цифра 47% — правда, но только для конкретной связки железа. Если у вас 7900 XT на Linux, узнаете, что Avalon сейчас даёт реальный прирост скорости на Qwen 3 8B Flash Next, а в остальных случаях лучше смотреть на Strata.
- Первый шаг
- Если у вас есть 7900 XT/XTX и Linux, запустите Avalon одной командой и проверьте скорость на своей системе с моделью Qwen 3 8B Flash Next; для других карт начните с бенчмарков Strata.
- Цифры
- —47% — на столько Avalon быстрее Strata на RX 7900 XT в исходном бенчмарке (медиана трёх запусков)
- —91 токен/с — скорость Avalon на RX 7900 XT с моделью Qwen 3 8B Flash Next
- —61,9 токен/с — скорость Strata 0.1.43 на той же карте, взятая для сравнения
- —94,6 токен/с — скорость Strata на Radeon AI Pro R9 700, уже выше результата Avalon
- Честно
- Автор не продвигает собственный продукт или курс, но в конце просит лайк и комментарии; видео — независимый технический разбор. Стоит учесть, что исходная таблица 91 против 61,9 взята из readme самого Avalon, а независимые замеры сообщества подтверждают только уровень Strata около 60 токен/с на RDNA 3; повторных публичных тестов Avalon той же методикой нет. Avalon — проект одного разработчика, работает только на Linux с картами RDNA 3 и одной моделью Qwen 3 8B Flash Next, без Windows, без поддержки нескольких пользователей, и пока без опубликованных тестов качества на реальных задачах.
Если слова незнакомы — 6 терминов
- смесь экспертов (MoE)архитектура модели, где для каждого токена активна только малая часть всех параметров — выбранные эксперты
- спекулятивное декодированиеприём, при котором маленькая модель-черновик угадывает следующие токены, а основная проверяет их пачкой, ускоряя генерацию
- экспертный кешхранение часто используемых экспертов в быстрой видеопамяти, чтобы не читать их из медленной оперативной памяти
- квантованиесжатие весов модели до меньшей точности (например, 3,4 бита на параметр) для уменьшения размера файла и ускорения
- RDNA 4последнее поколение графической архитектуры AMD, на котором Strata показывает более высокие результаты
- PCIe 3версия шины между процессором и видеокартой, ограничивающая скорость передачи данных (в примере ~14 ГБ/с)
Связки из этого ролика
2 шт.- ROCm
- CUDA
Компоненты
6 шт.Формат: разбор · для практикующих · уверенность разметки 0.9 · источник