К содержимому
Дайджест

Почему модель на 17 ГБ не запустилась на ноутбуке

Kai·15 сентября 2026·13:12
можно прочитать понять, как устроено
Открыть на YouTube
Разбор того, из чего на самом деле складывается память при локальном запуске модели, — для тех, кто пробует запускать модели дома и верит заголовкам про «маленькую умную модель».

Что в ролике

Автор скачал модель Qwen3 27B весом 17 ГБ в надежде на длинную сессию кодинга и получил нехватку памяти на ноутбуке, потому что читал не тот счётчик. Уменьшилось число активных параметров — тех, что умножаются на каждом токене: с 175 млрд у GPT-3 до 5–6 млрд сейчас, то есть вычисления на слово подешевели примерно в 30 раз за пять лет. Но все остальные эксперты обязаны лежать в памяти до того, как роутер выберет нужного: у модели 384 эксперта, из которых на каждом токене работают шесть. Второй счёт в этой истории — контекст: 262 000 токенов превращаются в KV-кэш примерно на 16 ГБ рядом с 17 ГБ весов, и спасает только то, что из 64 слоёв лишь 16 держат растущую память, а 48 используют фиксированную. Без этой хитрости контекст занял бы 64 ГБ, и модель просто не существовала бы на настольной машине. С бенчмарками та же проблема: 61,7 балла на SWE-bench Pro против Claude Opus получены в собственной обвязке Qwen, а Opus в той же таблице выигрывает на Terminal-Bench и на GPQA Diamond. Ещё нагляднее второй пример: у Qwen3 Next 6 млрд активных параметров при 180 млрд общих, а квантизованный файл занимает 111 ГБ на четырёх шардах и требует 110 ГБ системной памяти. Отдельная статья расходов — пресет reasoning effort: low и medium отстают от максимума на пару баллов, но тратят в семь раз меньше токенов и времени, а на 26 задачах самый дорогой режим прошёл тестов меньше, чем средний.

Практика

Что получишь
Научитесь спрашивать не «сколько там параметров», а три вещи: сколько памяти нужно до первого слова, сколько добавляет каждый токен контекста и сколько токенов модель тратит на размышления.
Первый шаг
Открыть настройку reasoning effort в своём клиенте и опустить её с максимума на low или medium — это самая быстрая экономия, доступная прямо сейчас.
Цифры
  • —16 ГБ — столько памяти требует контекст на 262 000 токенов, то есть примерно столько же, сколько сами веса на 17 ГБ
  • —384 эксперта в модели, из которых на каждом токене работают 6 — поэтому остальные всё равно должны лежать в памяти
  • —111 ГБ — квантизованный файл Qwen3 Next с 6 млрд активных параметров: он шёл на 24 ГБ карте вместе со 110 ГБ системной памяти
  • —$2,65 и $9,77 за задачу — низкий и максимальный reasoning effort на 26 задачах, при 21 и 24 пройденных тестах: максимум дороже и хуже среднего
Честно
Рекламы и спонсоров в ролике нет, но и повторяемых действий тоже: это разбор с расчётами, а не инструкция. Все цифры автор берёт из документации и постов сообщества, сам замеров не делал, а вывод про бенчмарки — его собственная интерпретация сносок. Полезно знать, что автосубтитры сильно искажают названия: Qwen3 звучит как Quinn, Anthropic как Entropic, поэтому искать упомянутые модели и статьи придётся по звучанию.
Если слова незнакомы — 9 терминов

Связки из этого ролика

4 шт.

Компоненты

10 шт.

Формат: разбор · для практикующих · уверенность разметки 0.85 · источник