К содержимому
Дайджест

Сжатый Qwen3 27B не дотягивает до Claude

The Stack·23 сентября 2026·14:24
можно прочитать понять, как устроено
Открыть на YouTube
Разбор сжатой локальной 27B-модели Qwen: сравнение файлов, бенчмарков и ограничений для тех, кто подбирает модель под свою видеокарту.

Что в ролике

Тем, кто хочет запустить 27-миллиардную Qwen3 локально, сжатие полной модели с 53,8 ГБ до 8,4 ГБ кажется способом получить Claude-уровневый код на игровой карте, но по факту это компромисс. Лаборатория Ista Das сжала модель в четыре файла — 8,4, 9,3, 10,1 и 11,8 ГБ, в среднем по 2,5–3,5 бита на вес, плюс отдельный vision-файл на 0,9 ГБ. Заявленные 100,3% от полной точности на zero-shot — это не генерация кода, а выбор готовых вариантов в пяти викторинах. На реальном код-бенчмарке LiveCodeBench v6 полная модель и файл 11,8 ГБ набирают 85,7 балла, а 8,4 ГБ падает до 76,6; аналогично GPQA Diamond теряет 5 баллов. Независимый тест Byte Shape подтверждает 11,8 ГБ (99,4% от полной модели), но 8,4 ГБ лишь сравнялся с обычным файлом Unsloth: 86,5 против 86,3. Сравнение с Claude в заголовке относится к полной модели: в одиночных прогонах она набрала 63 против 87,4 у Claude Fable 5 на 100 сложных задачах, а догнала только в менеджер-сетапе, потратив 18,6 млн токенов против 1,2 млн. Для 16 ГБ карты автор советует 11,8 ГБ, для 12 ГБ — 10,1 ГБ под код или 8,4 ГБ ради вдвое большего контекста, на 8 ГБ модель не оставляет места для сессии; скорость 8,4 ГБ всего на 25% выше (60,5 против 48,4 ток/с).

Практика

Что получишь
Поймёте, какой из четырёх сжатых файлов Qwen3 27B реально брать под свою карту и чем жертвует самый маленький.
Первый шаг
Проверьте объём видеопамяти вашей карты и возьмите самый большой файл, который оставит запас под контекст: 11,8 ГБ для 16 ГБ или 10,1 ГБ для 12 ГБ.
Цифры
  • —с 85,7 до 76,6 балла на LiveCodeBench v6 — настолько падает кодинг у файла 8,4 ГБ относительно полной модели и файла 11,8 ГБ
  • —18,6 млн против 1,2 млн токенов — столько тратит полная Qwen3 в менеджер-сетапе, чтобы догнать Claude Fable 5 на 100 задачах
  • —60,5 против 48,4 токена в секунду — скорость 8,4 ГБ и 11,8 ГБ на 16 ГБ карте, выигрыш всего 25%
  • —0,9 ГБ — размер отдельного vision-файла, который сразу прибавляется к памяти видеокарты
Честно
Автор не продаёт курс и не рекламирует партнёрские ссылки, лишь просит подписаться на канал. Главная оговорка: сравнение с Claude в заголовке относится к полной модели, а не к файлу 8,4 ГБ — на нём тестов с Claude нет. Таблицы бенчмарков и точные настройки, о которых идёт речь, показаны на экране, поэтому для повторения понадобится сам ролик.
Если слова незнакомы — 4 терминов

Компоненты

4 шт.

Формат: разбор · для практикующих · уверенность разметки 0.85 · источник