Clover: 102 токена/с на 16 ГБ за счёт блок-диффузии

Что в ролике
Новая модель Clover 35BA3B от DiffuSpace генерирует текст не последовательно, а блоками по 32 токена, заполняя за один проход сразу несколько позиций, если уверенность выше 95 процентов. Такой подход называется блок-диффузией: внутри блока модель работает параллельно, а между блоками текст пишется слева направо. Clover построен на базе Qwen 35B A3B, имеет 35 миллиардов параметров, но на каждый токен активны только около 3 миллиардов благодаря смеси экспертов. DiffuSpace заявляет 101,8 токена в секунду на RTX 5070Ti с 16 ГБ памяти и INT4-квантованием на задаче Math500, а также 680 токенов в секунду на Nvidia GB300 в BF16. Однако эти цифры получены самой DiffuSpace на предсказуемых задачах, где блок-диффузия сильна; независимых проверок пока нет. Официальные GGUF-файлы требуют около 19,6 ГБ и предупреждают о дополнительной памяти, поэтому на 16 ГБ карте модель влезает только частично. Ранние тесты в llama.cpp и сторонних движках показывают, что в обычном авторегрессионном режиме модель работает быстрее, чем в self-speculative режиме, а реальный блок-диффузионный режим есть только в неофициальных патчах и даёт до 101,6 токена в секунду на RTX 3090.
Практика
- Что получишь
- Понимание, как диффузионная генерация текста отличается от обычной и почему её скорость зависит от типа текста. Аргументы для решения, стоит ли пробовать Clover на своей видеокарте и в каком режиме.
- Первый шаг
- Скачать официальный GGUF Q4_0 (около 19,6 ГБ) и запустить его в обычном авторегрессионном режиме через патч llama.cpp или движок Kortik.
- Цифры
- —101,8 токена/с — заявленная DiffuSpace скорость на RTX 5070Ti с 16 ГБ и INT4 на Math500
- —35 млрд параметров всего, около 3 млрд активны на токен — архитектура смеси экспертов Clover
- —18,24 ГиБ (около 19,6 ГБ) — размер официального файла GGUF Q4_0, больше 16 ГБ видеопамяти
- —101,6 токена/с — результат неофициального патча блок-диффузии в llama.cpp на RTX 3090
- Честно
- Автор не продвигает платный продукт, но просит подписаться и поставить лайк в конце ролика. Все скорости опубликованы самой DiffuSpace, независимых бенчмарков нет; официальная поддержка llama.cpp не влита, а self-speculative режим в ранних тестах оказался медленнее обычного. Для повторения на 16 ГБ карте нужно выгружать часть модели в системную память, так как файл весит больше 19 ГБ.
Если слова незнакомы — 7 терминов
- токенминимальная единица текста, которую модель генерирует или читает
- диффузионная языковая модельмодель, которая заполняет сразу несколько пропущенных позиций в блоке текста, как диффузия в картинках
- авторегрессионный режимгенерация строго по одному токену за проход, когда каждый следующий зависит от предыдущих
- смесь экспертовархитектура, где из сотен подсетей на каждый токен активна лишь небольшая часть, что экономит вычисления
- GGUFформат файла для запуска моделей локально в llama.cpp и подобных движках
- квантованиесжатие весов модели до меньшей точности (например INT4), чтобы уменьшить размер и ускорить
- self-speculative decodingрежим, где модель сначала черново заполняет блок диффузией, а затем проверяет себя обычным способом
Связки из этого ролика
4 шт.- block diffusion
- mixture of experts
- gated DeltaNet
- self-speculative decoding
Компоненты
3 шт.Формат: реакция на новость · для продвинутых · уверенность разметки 0.85 · источник