RTX Spark: 128 ГБ в ноутбуке и подводные камни

Что в ролике
Если у вас уже есть настольная машина, которая справляется с локальными моделями, автор советует оставить её базой, а ноутбук с RTX Spark рассматривать только после проверки четырёх условий. Платформа обещает до 128 ГБ unified memory и нативный CUDA, но это не выделенная видеопамять, а общий пул с системой, и Windows динамически откусывает GPU-бюджет, поэтому реальный запас под модель меньше заявленного. Для 70-миллиардной модели на 4-битном квантовании веса занимают примерно 35 ГБ, а на 8-битном уже около 70 ГБ, и сверху нужен KV-кэш, который растёт с длиной контекста и многоходовыми диалогами. Скорость — отдельная проблема: в агентных сценариях модель сперва обрабатывает входящий контекст, потом ждёт ответы инструментов, поэтому синтетические бенчмарки не предсказывают реальное время на задаче. Питание и охлаждение заданы платформенным диапазоном 45–80 Вт, а заявления о работе «весь день» основаны на предрелизных внутренних тестах, поэтому время под нагрузкой надо проверять самому. Программная часть упирается в Windows on Arm: сам GPU-код CUDA выполняется нативно, но CPU-обвязка, расширения C++ и Python-пакеты должны пройти через эмуляцию x86 или нативные Arm-сборки. Если мобильность нужна только для запросов, достаточно держать основную машину включённой и ходить к ней через Tailscale, а полностью локальный ноутбук оправдан, только когда вам реально нужны portable CUDA-вычисления без связи. Перед покупкой автор предлагает проверить не стартовую цену, а полную конфигурацию со 128 ГБ и нужным SSD, и только после успешных тестов вашего стека под устойчивой нагрузкой решаться на замену.
Практика
- Что получишь
- Поймёте, какие четыре проверки отделяют маркетинговые 128 ГБ от реальной замены настольной станции, и сможете прикинуть, потянет ли ваша модель и стек на Windows on Arm.
- Первый шаг
- Начните с проверки полной цены конфигурации на 128 ГБ и оценки, сколько памяти остаётся вашей модели после Windows и KV-кэша.
- Цифры
- —128 ГБ — столько unified memory обещает платформа RTX Spark, но реальный запас под модель делится с системой
- —35 ГБ — столько весят веса 70-миллиардной модели при 4-битном квантовании до учёта KV-кэша
- —70 ГБ — веса той же модели при 8-битном квантовании
- —45–80 Вт — платформенный тепловой диапазон, в который должны укладываться ноутбуки RTX Spark
- Честно
- Автор просит подписаться и поставить лайк, но партнёрских ссылок или продажи курса в ролике нет. Все расчёты и ограничения взяты из документации NVIDIA и предрелизных спецификаций, а не из замеров готового устройства; розничная цена топовой конфигурации и реальное время работы под инференсом неизвестны. На экране, судя по транскрипту, показаны таймкоды и документация, но точные цифры бюджета памяти стоит перепроверять по первоисточнику.
Если слова незнакомы — 6 терминов
- CUDAфирменная вычислительная платформа NVIDIA для запуска кода на видеокартах
- unified memoryобщая память, из которой берут и процессор, и графика, поэтому запас под модель меньше заявленного
- KV-кэшкэш пар ключ-значение, который хранит промежуточные расчёты внимания и растёт с длиной контекста
- квантованиесжатие весов модели до меньшей точности, например 4 или 8 бит
- Windows on Armверсия Windows для процессоров с архитектурой Arm, где часть программ работает через эмуляцию
- эмуляция x86перевод инструкций обычных x86-программ для выполнения на Arm-процессоре
Связки из этого ролика
2 шт.- CUDA on Windows on Arm
- Ollama + llama.cpp + PyTorch
Компоненты
6 шт.Формат: разбор · для практикующих · уверенность разметки 0.9 · источник