Qwen 3.8-27B на 16 ГБ: как не потерять 6 баллов

Что в ролике
На 16 ГБ видеопамяти Qwen 3.8-27B запускается быстро и выдаёт около 45 токенов в секунду, но в реальных задачах не дотягивает до заявленных бенчмарков, потому что большинство гайдов меняют один параметр в конфиге. В карточке модели она действительно обходит Claude Opus 4,6 Max: 90,3 против 88,8 на LiveCodeBench и 61,7 против 53,4 на SWE-Bench Pro, а независимый набор Artificial Analysis даёт ей 34 балла при X High reasoning effort. При среднем усилии тот же файл весов набирает 28, при низком 26, а с выключенным мышлением 20, и разрыв в шесть баллов как раз отделяет уровень февральского фронтира от результата ниже конкурентов. Проблема в том, что режим X High на домашней карте тратит очень много думающих токенов: в среднем 15 000 на вопрос GPQA Diamond и около 52 000 на задачу Terminal Bench 2,1, из-за чего один ответ может занимать от пяти с половиной до 28 минут. Второе отличие от бенчмарков — контекст: лидерборды использовали окно до 500 000 токенов, а типичная 16 ГБ сборка вмещает лишь 110 000–128 000, поэтому длинные агентские сессии упираются в потолок. Доработанная версия Yukisai Swift 1,5 сокращает лишние размышления на 42% без потери точности: на GPQA Diamond она набирает 88,59% против 88,28% у базовой, потратив 8 717 токенов вместо 15 014. Практичный рецепт — оставить reasoning effort по умолчанию, включить multi-token prediction, вынести монитор на встроенную графику и поставить максимальное контекстное окно, которое влезает в память.
Практика
- Что получишь
- Поймёте, почему Qwen 3.8-27B на 16 ГБ может не дотягивать до бенчмарков, и получите рабочую конфигурацию, которая возвращает максимум качества без многочасового ожидания.
- Первый шаг
- Скачать файл Swift 1.5 Qwen 3.8 27B IQ3 with MTP с Hugging Face от UKSAI и не трогать параметр reasoning effort, оставив его на X High.
- Цифры
- —90,3 против 88,8 — счёт Qwen 3.8-27B и Claude Opus 4,6 Max на LiveCodeBench
- —34, 28 и 20 — баллы Artificial Analysis при X High, medium и выключенном мышлении
- —15 000 токенов — в среднем тратит X High на один вопрос GPQA Diamond, это около 5,5 минут при 45,6 токена в секунду
- —128 000 токенов — максимальный контекст на 16 ГБ при 4-битном KV-кэше против 500 000 в бенчмарках
- Честно
- Автор не продаёт курс и не даёт партнёрских ссылок, в конце просит лайк и подписку. Конкретные команды и интерфейс llama.cpp в ролике не показаны целиком: настройки упоминаются словами, их придётся искать в документации. Файл Swift 1.5 распространяется под лицензией UKSAI, а не Apache — для коммерческого использования нужно читать условия.
Если слова незнакомы — 4 терминов
- reasoning effortуровень усилия, с которым модель обдумывает ответ; значения low, medium, X High
- multi-token predictionтехнология, при которой модель предсказывает несколько токенов за шаг и ускоряет генерацию
- контекстное окнообъём текста, который модель держит в памяти во время ответа
- токенминимальная единица текста, которую обрабатывает модель
Связки из этого ролика
1 шт.- Qwen 3.8-27B + Swift 1.5 IQ3_MTP + llama.cpp + MTP on 16GB GPU
Компоненты
4 шт.Формат: пошаговый урок · для практикующих · уверенность разметки 0.85 · источник