Ripple-65B против Qwen 27B: держите Qwen

Что в ролике
Если вы гоняете локальную модель на одной видеокарте, скорее всего это Qwen 27B с 6 миллионами скачиваний. Новый американский конкурент Ripple-65B preview от Recursive Intelligence (основателей AlphaChip) — плотная модель на 65 миллиардов параметров, обученная с нуля на 12 триллионах токенов за 32 миллиона долларов, с лицензией Apache и результатом 80,5 на терминал-бенче против 73 у Qwen. Остальные бенчмарки близки: Deep Su 44,3 против 42,2, Bench Pro 61,4 против 61,7 (у Qwen внутри Claude Code), следование инструкциям — ничья, на GPQA Qwen выигрывает 4 очка, при этом Ripple понимает только текст и всегда думает, а Qwen видит изображения и умеет отключать размышления. По памяти оба плотные, контекст стоит одинаково — 64 КБ на токен, но веса Ripple в 2,3 раза больше: Qwen занимает около 16,5 гигабайт в 4-битном виде, а Ripple — 39, поэтому на картах до 48 гигабайт Ripple либо не помещается, либо доступен только в 2-битной версии, совпадающей с оригиналом на 81%. Скорость масштабируется с размером файла, так что Ripple в 2,3 раза медленнее: на RTX Pro 6000 он даёт 26 токенов в секунду при коротком промпте и 19 при 131 тысяче токенов, тогда как потолок Qwen на 4 битах превышает 100, на M5 Ultra Ripple 22 токена в секунду, а Qwen с черновиком на M4 Pro — 40. Экосистема тоже за Qwen: он запускается одной командой везде, а Ripple только недавно получил Llama CPP и ещё не в Ollama/LM Studio, зато выигрывает три вещи — лидерство в терминал-бенче на 7,5 очка, американское происхождение для компаний с запретом на китайские модели и выпуск базовой модели для файнтюнинга. Однако это превью с лёгким постобучением, бенчмарки самопровозглашённые, хостинг ограничен 16 тысячами токенов, а запуск на миллион токенов занял 76 минут чтения и дал меньше 7 токенов в секунду. Поэтому для карт до 48 гигабайт оставляйте Qwen, а Ripple имеет смысл только на 48+ гигабайтах для терминальных агентов или для компаний, которым нельзя китайские модели.
Практика
- Что получишь
- Вы узнаете, стоит ли переходить с Qwen 27B на Ripple-65B в зависимости от вашей видеокарты и задач, а также получите конкретные цифры по памяти, скорости и поддерживаемому софту.
- Первый шаг
- Проверьте объём памяти вашей видеокарты: если меньше 48 гигабайт, оставайтесь на Qwen, если больше — попробуйте Ripple в 4-битном виде для терминального агента.
- Цифры
- —80.5 против 73 — результаты Ripple и Qwen на терминал-бенче
- —32 миллиона долларов — стоимость обучения Ripple-65B с нуля
- —48 гигабайт — минимальный объём видеопамяти для здоровой 4-битной версии Ripple
- —26 токенов в секунду — скорость Ripple на RTX Pro 6000 с 6-битным файлом и коротким промптом
- Честно
- Автор продвигает своё членство на канале: за платную подписку обещает приоритетные ответы и эксклюзивные видео. Все бенчмарки в ролике — самопровозглашённые лабораториями, а локальные скорости взяты у людей, имевших модель около двух дней, поэтому к ним стоит относиться как к предварительным. Часть информации, например точные значения настроек и конфиги, видна только на экране, в пересказе их нет.
Если слова незнакомы — 6 терминов
- плотная модельмодель, где все параметры работают для каждого токена, в отличие от смеси экспертов, где активируется часть весов
- терминал-бенчтест, в котором модель сама управляет терминалом и выполняет команды
- контекстобъём текста, который модель может учитывать при ответе, измеряется в токенах
- токенминимальная единица текста, которую обрабатывает модель, примерно часть слова
- черновиквспомогательная модель, которая быстро предсказывает следующие токены, чтобы ускорить основную генерацию
- файнтюнингдообучение готовой модели на своих данных для специализации
Связки из этого ролика
3 шт.- Qwen 27B + Llama.cpp
- Qwen 27B + LM Studio
- Ripple 65B + SGLang
Компоненты
14 шт.Формат: обзор · для продвинутых · уверенность разметки 0.85 · источник