К содержимому
Дайджест

Qwen 27B на 24 ГБ: брать Q4KM, а не Q6K

The Stack·3 октября 2026·9:53
текст даёт основное можно повторить пошагово
Открыть на YouTube
Разбор выбора кванта для запуска 27B-модели Qwen на видеокарте с 24 ГБ видеопамяти, рассчитанный на тех, кто хочет запускать её локально для кодинга.

Что в ролике

Вы хотите запустить 27-миллиардную модель Qwen 3.8-27B локально для кодинга на видеокарте с 24 ГБ, и главный выбор — между квантами Q4KM и Q6K. Файл Q4KM занимает около 17,4 ГБ, а Q6K около 23,9 ГБ, но объём файла не равен потреблению видеопамяти: во время реальной сессии добавляются контекст, инструкции, файлы, результаты инструментов и кэш вычислений внимания. Автор рекомендует начать с Q4KM, потому что он оставляет заметно больше запаса памяти под рабочую нагрузку, и проверить размещение через команду LMS load с флагом estimate-only в LM Studio. Q6K точнее повторяет распределение вероятностей исходной модели на тексте Википедии, но это не гарантирует, что код будет компилироваться или проходить тесты. Сравнивать кванты нужно на собственной кодовой базе: выбрать две задачи — точечный багфикс и многофайловый рефакторинг, заранее подготовить автоматические проверки и держать их вне рабочей директории. Для честного теста оба кванта должны быть от одного издателя и одной версии, запускаться с одинаковыми настройками, температурой и лимитом попыток, а по итогам фиксировать пять показателей: прошли ли тесты, выполнились ли вызовы инструментов, время, пиковую память и число ручных вмешательств. Только если Q6K влезает в память при нужном контексте и показывает измеримо лучший результат, стоит качать его вместо Q4KM.

Практика

Что получишь
Практический способ выбрать квант под свою видеокарту и честно проверить, даёт ли более точная версия реальный выигрыш в кодинге.
Первый шаг
Скачать Q4KM для Qwen 3.8-27B и загрузить его в LM Studio с командой LMS load --estimate-only, чтобы оценить запас памяти под свой контекст.
Цифры
  • —17,4 ГБ — размер файла Q4KM по метаданным издателя
  • —23,9 ГБ — размер файла Q6K по метаданным издателя
  • —24 ГБ — видеопамять карты, для которой даётся рекомендация
  • —5 показателей — столько нужно логировать для каждого прогона в собственном сравнении
Честно
Прямого сравнения Q4KM и Q6K на задачах кодинга автор не проводил: рекомендация основана только на размере файлов и запасе памяти, а не на качестве кода. В середине ролика есть призыв подписаться, поставить лайк и оставить комментарий, но продукта или платного сообщества он не продвигает.
Если слова незнакомы — 5 терминов

Компоненты

1 шт.

Формат: пошаговый урок · для практикующих · уверенность разметки 0.9 · источник