К содержимому
Дайджест

Qwen 3.8-27B на 16 ГБ: как не потерять 6 баллов

Kai·18 октября 2026·20:16
текст даёт основное можно повторить пошагово
Открыть на YouTube
Разбор локального запуска Qwen 3.8-27B на видеокарте с 16 ГБ видеопамяти для тех, кто хочет повторить бенчмарки без потери качества.

Что в ролике

На 16 ГБ видеопамяти Qwen 3.8-27B запускается быстро и выдаёт около 45 токенов в секунду, но в реальных задачах не дотягивает до заявленных бенчмарков, потому что большинство гайдов меняют один параметр в конфиге. В карточке модели она действительно обходит Claude Opus 4,6 Max: 90,3 против 88,8 на LiveCodeBench и 61,7 против 53,4 на SWE-Bench Pro, а независимый набор Artificial Analysis даёт ей 34 балла при X High reasoning effort. При среднем усилии тот же файл весов набирает 28, при низком 26, а с выключенным мышлением 20, и разрыв в шесть баллов как раз отделяет уровень февральского фронтира от результата ниже конкурентов. Проблема в том, что режим X High на домашней карте тратит очень много думающих токенов: в среднем 15 000 на вопрос GPQA Diamond и около 52 000 на задачу Terminal Bench 2,1, из-за чего один ответ может занимать от пяти с половиной до 28 минут. Второе отличие от бенчмарков — контекст: лидерборды использовали окно до 500 000 токенов, а типичная 16 ГБ сборка вмещает лишь 110 000–128 000, поэтому длинные агентские сессии упираются в потолок. Доработанная версия Yukisai Swift 1,5 сокращает лишние размышления на 42% без потери точности: на GPQA Diamond она набирает 88,59% против 88,28% у базовой, потратив 8 717 токенов вместо 15 014. Практичный рецепт — оставить reasoning effort по умолчанию, включить multi-token prediction, вынести монитор на встроенную графику и поставить максимальное контекстное окно, которое влезает в память.

Практика

Что получишь
Поймёте, почему Qwen 3.8-27B на 16 ГБ может не дотягивать до бенчмарков, и получите рабочую конфигурацию, которая возвращает максимум качества без многочасового ожидания.
Первый шаг
Скачать файл Swift 1.5 Qwen 3.8 27B IQ3 with MTP с Hugging Face от UKSAI и не трогать параметр reasoning effort, оставив его на X High.
Цифры
  • —90,3 против 88,8 — счёт Qwen 3.8-27B и Claude Opus 4,6 Max на LiveCodeBench
  • —34, 28 и 20 — баллы Artificial Analysis при X High, medium и выключенном мышлении
  • —15 000 токенов — в среднем тратит X High на один вопрос GPQA Diamond, это около 5,5 минут при 45,6 токена в секунду
  • —128 000 токенов — максимальный контекст на 16 ГБ при 4-битном KV-кэше против 500 000 в бенчмарках
Честно
Автор не продаёт курс и не даёт партнёрских ссылок, в конце просит лайк и подписку. Конкретные команды и интерфейс llama.cpp в ролике не показаны целиком: настройки упоминаются словами, их придётся искать в документации. Файл Swift 1.5 распространяется под лицензией UKSAI, а не Apache — для коммерческого использования нужно читать условия.
Если слова незнакомы — 4 терминов

Связки из этого ролика

1 шт.

Компоненты

4 шт.

Формат: пошаговый урок · для практикующих · уверенность разметки 0.85 · источник