RTX Spark-ноутбук: 170 секунд до первого слова

Что в ролике
Если вы присматриваете ноутбук с 128 ГБ unified memory для локального AI, главный вопрос — не только скорость ответа, но и сколько машина читает ваш промпт до первого слова. Автор разбирает Surface Laptop Ultra на чипе RTX Spark N1X с 20-ядерным CPU и 6144-ядерным Blackwell GPU: у него около 300 ГБ/с memory bandwidth, поэтому генерация (decode) идёт быстро, но prefill упирается в урезанный до 45–80 Вт бюджет вместо 140 Вт у десктопа DGX Spark. В тесте Microsoft на модели MAI Code Flash с 137 млрд параметров холодный промпт на 128 000 токенов обрабатывался 170 секунд до первого слова, а на 64 000 — 71 секунду, при этом prefill составил 769 и 923 токена в секунду. Владелец десктопа DGX Spark на длинных промптах получал 2000–2477 токенов в секунду, то есть тот же промпт читался около минуты — в 2,3 раза быстрее за счёт 140 Вт. Для сценария локального coding-агента, где контекст растёт от каждого файла и результата инструмента, это критично: тёплые ходы с кэшем быстрые, но каждая новая сессия или большой лог возвращает полные 170 секунд. По деньгам после повышения DGX Spark до 6950 долларов ноутбук за 5899 стал на 1050 дешевле, но GPU адресует только 110 ГБ из 128, а Windows и приложения съедают ещё больше, при этом на 256K контексте модель занимает 75,5 ГБ. Если не нужен именно портативный Windows-ноутбук, есть AMD-альтернатива ROG Flow Z13 с 128 ГБ за 3200 долларов, которая на похожей модели читала 128K промпт около 99 секунд, хотя это другое железо и другой движок.
Практика
- Что получишь
- Понимание, почему у этого ноутбука первый ответ на длинный промпт может занимать 170 секунд, и какие цифры проверять в обзорах перед покупкой за 6000 долларов.
- Первый шаг
- Перед заказом найдите в обзорах тест cold prefill на вашей длине контекста в секундах, а не общий tokens per second на коротком чате.
- Цифры
- —170 секунд — столько ждёт первое слово на холодном промпте 128 000 токенов в тесте Microsoft
- —923 токена в секунду — скорость prefill на промпте 64 000 токенов
- —6950 долларов — новая цена десктопа DGX Spark после повышения 2 октября
- —110 ГБ из 128 — столько памяти GPU реально доступно на этом ноутбуке
- Честно
- Автор не продвигает конкретный магазин или курс, но в конце просит лайк и подписку. Часть цифр взята из блога Microsoft и форума Nvidia, а сравнение с AMD — это разные модели и движки, поэтому точным его считать нельзя. Точная мощность Surface Laptop Ultra на момент записи не раскрыта, и итоговые цифры могут измениться после обзоров 16 октября.
Если слова незнакомы — 6 терминов
- unified memoryобщая память для процессора и видеокарты, доступная модели без копирования
- prefillэтап чтения промпта и контекста моделью до генерации первого слова
- decodeэтап генерации ответа, когда модель по одному слову выдает текст
- tokenединица текста, которую модель обрабатывает или генерирует
- memory bandwidthпропускная способность памяти, от которой зависит скорость генерации
- coding-агентпрограмма, которая сама читает файлы и вызывает инструменты для выполнения задачи
Связки из этого ролика
6 шт.- RTX Spark N1X
- DGX Spark
- Surface Laptop Ultra
- Surface RTX Spark Devox
- Ryzen AI Max Plus 395
- MacBook Pro M5 Max
Компоненты
5 шт.Формат: обзор · для продвинутых · уверенность разметки 0.9 · источник