К содержимому
Дайджест

137B-модель кода на ноутбуке: RTX Spark и 60 токенов/с

Code Unpacked·13 октября 2026·9:11
можно прочитать понять, как устроено
Открыть на YouTube
Разбор того, как Microsoft запустила 137-миллиардную модель кода локально на Windows-ноутбуке и почему это меняет представление о границе между RAM и VRAM.

Что в ролике

Если вы ждали запуска большой модели кода без облака, Microsoft показала, как её внутренняя mixture-of-experts модель MAI Code 1.1 Flash работает локально на Windows-ноутбуке с чипом NVIDIA RTX Spark. У модели 137 млрд параметров, но на каждый токен активны только 6,8 млрд, поэтому скорости остаются высокими. После квантования примерно до 3,3 бита на вес модель занимает около 53 ГБ вместо более чем 200 ГБ в 16-битном виде. На пике при контексте 256 тысяч токенов процесс использует 75,5 ГБ памяти, поэтому Microsoft рекомендует конфигурацию с более чем 120 ГБ RAM. По графику Microsoft декодирование даёт около 63 токенов в секунду при коротком промпте и около 39 токенов в секунду на полном контексте 256 тысяч. Качество после сжатия почти не просело: на SWE-bench Verified локальная версия набрала 70,8% против 72,6% у облачной. Главный сдвиг не в том, что все ноутбуки потянут 137B, а в исчезновении границы между системной памятью и VRAM: RTX Spark даёт CPU и GPU один пул до 128 ГБ.

Практика

Что получишь
Понимание, за счёт чего 137B-модель кода работает локально: mixture-of-experts, агрессивное квантование, единая память и speculative decoding, а также заявленные Microsoft скорости и качество.
Первый шаг
Начать с изучения модели MAI Code 1.1 Flash и её quantized-сборки в llama.cpp, если у вас есть Windows-ноутбук с RTX Spark или тестовый доступ.
Цифры
  • —6,8 млрд параметров активно на каждый токен при общем размере модели 137 млрд
  • —53 ГБ занимает модель после квантования примерно до 3,3 бита на вес
  • —75,5 ГБ пикового потребления памяти при контексте 256 тысяч токенов
  • —около 63 токенов в секунду на коротком промпте и около 39 токенов в секунду на полном контексте 256 тысяч
Честно
Ролик не продвигает продукт автора и не содержит партнёрских ссылок. Все цифры взяты из блога и графика Microsoft, а не из независимых тестов; точные значения на графике не подписаны, поэтому скорости прочитаны визуально. Повторить запуск на обычном ноутбуке не выйдет: нужна конфигурация с RTX Spark и 128 ГБ unified-памяти, которая стоит почти $6000.
Если слова незнакомы — 6 терминов

Связки из этого ролика

5 шт.

Компоненты

4 шт.

Формат: разбор · для продвинутых · уверенность разметки 0.85 · источник