Ноутбук со 128 ГБ тянет 120B-модель локально

Что в ролике
Автор получил MSI Prestige N16 Flip AI Plus — ноутбук на Windows on ARM с 128 ГБ LPDDR5, 20-ядерным N1X и 4K OLED, и сразу проверяет заявление MSI о запуске 120-миллиардных моделей без троттлинга. Сначала тесты процессора: Speedometer 3,1 даёт 35,2 балла, Mandelbrot на Windows завершается за 22 секунды, а в WSL заметно быстрее; на батарее результат почти не меняется (23,2 секунды). Пропускная способность памяти у ноутбука выше, чем у DGX Spark: копирование 8 ГБ — 143 ГБ/с против 113, чтение — 309 против 234, поэтому генерация токенов должна быть быстрее. Для моделей автор использует Llama CPP и VLM: GPT-OSS 120B загружается за 28 секунд, занимает 61 из 96 ГБ видеопамяти и выдаёт 65 токенов/с на ноутбуке против 50,6 у DGX Spark. VLM обрабатывает промпты в 2,5 раза быстрее Llama CPP (4 681 против 1 800 токенов/с), но для одного пользователя генерирует только 35 токенов/с, зато с восемью одновременными пользователями — 127,5. Новейшая Qwen 3,8 Flash Next на 125 миллиардов параметров занимает 81 из 96 ГБ и работает со скоростью 33,7 токенов/с, что для тонкого ноутбука автор считает «безумием». После 20 минут нагрузки модель держит 50–52 токена/с при всех 20 ядрах, температура достигает 98,6 °C, но троттлинга нет. Итог: ноутбук подходит как одна машина для разработки и локальных моделей в дороге, а для круглосуточных агентов автор советует DGX Spark.
Практика
- Что получишь
- Конкретные цифры производительности ноутбука: скорость токенов, пропускная способность памяти, поведение от батареи и под нагрузкой, чтобы решить, подходит ли он как замена стационарному ПК с GPU.
- Первый шаг
- Для повторения тестов включите длинные пути в Windows, установите WSL и выделите 96 ГБ видеопамяти в Nvidia app.
- Цифры
- —143 ГБ/с — скорость копирования 8 ГБ в GPU-памяти ноутбука против 113 у DGX Spark
- —65 токенов/с — генерация GPT-OSS 120B на ноутбуке (50,6 у DGX Spark)
- —33,7 токенов/с — скорость Qwen 3,8 Flash Next на 125 миллиардов параметров
- —98,6 °C — пиковая температура чипа после 20 минут нагрузки без троттлинга
- Честно
- Ноутбук, судя по фразе «показался у моей двери», предоставлен MSI на обзор, а ссылки в описании могут быть партнёрскими — в самом видео это не проговаривается. Все замеры сделаны на конкретном экземпляре с определёнными настройками, а скрипты для тестов, готовые команды и часть графиков видны только на экране, поэтому повторить тесты один в один по видео сложно.
Если слова незнакомы — 6 терминов
- Llama CPPдвижок для локального запуска языковых моделей на CPU и GPU
- VLMинструмент для сервинга моделей, который эффективен при нескольких одновременных пользователях
- WSLподсистема Windows для Linux, позволяющая запускать Linux-окружение внутри Windows
- токеныединицы текста, которые модель читает на входе и генерирует на выходе
- промптвходной запрос или инструкция для модели
- троттлингпринудительное замедление процессора или GPU при перегреве
Связки из этого ролика
4 шт.- Windows on ARM
- WSL Ubuntu
- CUDA vLLM
- llama.cpp local inference
Компоненты
18 шт.Формат: обзор · для продвинутых · уверенность разметки 0.85 · источник