Сжатый Qwen3 27B не дотягивает до Claude

Что в ролике
Тем, кто хочет запустить 27-миллиардную Qwen3 локально, сжатие полной модели с 53,8 ГБ до 8,4 ГБ кажется способом получить Claude-уровневый код на игровой карте, но по факту это компромисс. Лаборатория Ista Das сжала модель в четыре файла — 8,4, 9,3, 10,1 и 11,8 ГБ, в среднем по 2,5–3,5 бита на вес, плюс отдельный vision-файл на 0,9 ГБ. Заявленные 100,3% от полной точности на zero-shot — это не генерация кода, а выбор готовых вариантов в пяти викторинах. На реальном код-бенчмарке LiveCodeBench v6 полная модель и файл 11,8 ГБ набирают 85,7 балла, а 8,4 ГБ падает до 76,6; аналогично GPQA Diamond теряет 5 баллов. Независимый тест Byte Shape подтверждает 11,8 ГБ (99,4% от полной модели), но 8,4 ГБ лишь сравнялся с обычным файлом Unsloth: 86,5 против 86,3. Сравнение с Claude в заголовке относится к полной модели: в одиночных прогонах она набрала 63 против 87,4 у Claude Fable 5 на 100 сложных задачах, а догнала только в менеджер-сетапе, потратив 18,6 млн токенов против 1,2 млн. Для 16 ГБ карты автор советует 11,8 ГБ, для 12 ГБ — 10,1 ГБ под код или 8,4 ГБ ради вдвое большего контекста, на 8 ГБ модель не оставляет места для сессии; скорость 8,4 ГБ всего на 25% выше (60,5 против 48,4 ток/с).
Практика
- Что получишь
- Поймёте, какой из четырёх сжатых файлов Qwen3 27B реально брать под свою карту и чем жертвует самый маленький.
- Первый шаг
- Проверьте объём видеопамяти вашей карты и возьмите самый большой файл, который оставит запас под контекст: 11,8 ГБ для 16 ГБ или 10,1 ГБ для 12 ГБ.
- Цифры
- —с 85,7 до 76,6 балла на LiveCodeBench v6 — настолько падает кодинг у файла 8,4 ГБ относительно полной модели и файла 11,8 ГБ
- —18,6 млн против 1,2 млн токенов — столько тратит полная Qwen3 в менеджер-сетапе, чтобы догнать Claude Fable 5 на 100 задачах
- —60,5 против 48,4 токена в секунду — скорость 8,4 ГБ и 11,8 ГБ на 16 ГБ карте, выигрыш всего 25%
- —0,9 ГБ — размер отдельного vision-файла, который сразу прибавляется к памяти видеокарты
- Честно
- Автор не продаёт курс и не рекламирует партнёрские ссылки, лишь просит подписаться на канал. Главная оговорка: сравнение с Claude в заголовке относится к полной модели, а не к файлу 8,4 ГБ — на нём тестов с Claude нет. Таблицы бенчмарков и точные настройки, о которых идёт речь, показаны на экране, поэтому для повторения понадобится сам ролик.
Если слова незнакомы — 4 терминов
- zero-shotоценка модели без обучения на примерах, на готовых вариантах ответа
- бенчмаркстандартный тест для сравнения моделей по конкретной задаче
- токеныкусочки слов, на которые модель делит текст и за которые платят или тратят вычислительное время
- контекствся переписка и данные, которые модель держит в памяти во время сессии
Компоненты
4 шт.Формат: разбор · для практикующих · уверенность разметки 0.85 · источник