137B-модель кода на ноутбуке: RTX Spark и 60 токенов/с

Что в ролике
Если вы ждали запуска большой модели кода без облака, Microsoft показала, как её внутренняя mixture-of-experts модель MAI Code 1.1 Flash работает локально на Windows-ноутбуке с чипом NVIDIA RTX Spark. У модели 137 млрд параметров, но на каждый токен активны только 6,8 млрд, поэтому скорости остаются высокими. После квантования примерно до 3,3 бита на вес модель занимает около 53 ГБ вместо более чем 200 ГБ в 16-битном виде. На пике при контексте 256 тысяч токенов процесс использует 75,5 ГБ памяти, поэтому Microsoft рекомендует конфигурацию с более чем 120 ГБ RAM. По графику Microsoft декодирование даёт около 63 токенов в секунду при коротком промпте и около 39 токенов в секунду на полном контексте 256 тысяч. Качество после сжатия почти не просело: на SWE-bench Verified локальная версия набрала 70,8% против 72,6% у облачной. Главный сдвиг не в том, что все ноутбуки потянут 137B, а в исчезновении границы между системной памятью и VRAM: RTX Spark даёт CPU и GPU один пул до 128 ГБ.
Практика
- Что получишь
- Понимание, за счёт чего 137B-модель кода работает локально: mixture-of-experts, агрессивное квантование, единая память и speculative decoding, а также заявленные Microsoft скорости и качество.
- Первый шаг
- Начать с изучения модели MAI Code 1.1 Flash и её quantized-сборки в llama.cpp, если у вас есть Windows-ноутбук с RTX Spark или тестовый доступ.
- Цифры
- —6,8 млрд параметров активно на каждый токен при общем размере модели 137 млрд
- —53 ГБ занимает модель после квантования примерно до 3,3 бита на вес
- —75,5 ГБ пикового потребления памяти при контексте 256 тысяч токенов
- —около 63 токенов в секунду на коротком промпте и около 39 токенов в секунду на полном контексте 256 тысяч
- Честно
- Ролик не продвигает продукт автора и не содержит партнёрских ссылок. Все цифры взяты из блога и графика Microsoft, а не из независимых тестов; точные значения на графике не подписаны, поэтому скорости прочитаны визуально. Повторить запуск на обычном ноутбуке не выйдет: нужна конфигурация с RTX Spark и 128 ГБ unified-памяти, которая стоит почти $6000.
Если слова незнакомы — 6 терминов
- mixture-of-expertsархитектура, где для каждого токена работает только часть параметров, а не вся модель
- квантованиесжатие весов модели до меньшей битности, чтобы уменьшить размер и ускорить работу
- токенминимальная единица текста, которую модель обрабатывает за раз
- контекстобъём предыдущего текста, который модель может учитывать при ответе
- VRAMотдельная память видеокарты, обычно ограничивающая размер локальной модели
- speculative decodingчерновая генерация токенов быстрым тянущим процессом с проверкой основной моделью, чтобы ускорить вывод
Связки из этого ролика
5 шт.- Windows ARM64
- CUDA
- LPDDR5X
- Blackwell GPU
- Grace CPU
Компоненты
4 шт.Формат: разбор · для продвинутых · уверенность разметки 0.85 · источник