Локальный AI: Mac Studio или AMD-бокс — решает prefill

Что в ролике
Локальная модель ночью на своём компьютере отвечает мучительно долго, и виноват в этом не тот показатель, который мерят все обзоры. Автор объясняет, что ответ модели состоит из двух фаз: prefill, где читается весь присланный контекст и всё упирается в вычисления, и decode, где слова выдаются по одному и всё упирается в пропускную способность памяти. Бенчмарки и обзоры показывают почти всегда decode, а ждём мы prefill: на контексте 8 500 токенов он занял 94% времени ожидания, то есть метрика, ради которой покупают машину, отвечала лишь за 6% опыта. Сравнивая Mac Studio M5 за 5 399 долларов с боксом на AMD Ryzen AI Max+ 395 за 3 999 долларов в одинаковой конфигурации на 128 ГБ, автор показывает, что разрыв в пропускной способности 2,4 к 1 сжимается на MoE-моделях сначала до 1,6, а потом и до 25%. На prefill машины идут вровень, а иногда впереди оказывается более дешёвый AMD, хотя его собственный GPU без правильной библиотеки выдаёт меньше 5 терафлопс вместо теоретических 59, а с hipBLAS — 36. Четыре программные настройки, которые занимают минут двадцать, дают плюс 13% к prefill, а MIT-библиотеки DFlash и PFlash сокращают ожидание ответа на запрос в 16 000 токенов с 147 до 58 секунд. Главная ловушка — дешёвые mini-PC на том же чипе: прошивка режет шину памяти вдвое, и владельцы мерят 117 ГБ в секунду вместо 215, поэтому автор советует брать проверенные MinisForum MS-S1 Max и Framework Desktop.
Практика
- Что получишь
- Поймёшь разницу между prefill и decode и почему метрика из обзоров почти не влияет на то, сколько ты реально ждёшь ответа. Получишь критерии выбора между Mac Studio и AMD-боксом и список моделей mini-PC, которые покупать не стоит.
- Первый шаг
- Первый шаг до покупки — замерить на своей задаче не токены в секунду, а полное время от отправки запроса до последнего токена на реальном контексте в 8–16 тысяч токенов.
- Цифры
- —1 400 долларов — разница между AMD-боксом за 3 999 и Mac Studio за 5 399 в конфигурации на 128 ГБ
- —94% времени ожидания занимал prefill на контексте 8 500 токенов, то есть скорость decode отвечает лишь за 6% опыта
- —с 147 до 58 секунд упало ожидание ответа на запрос в 16 000 токенов после MIT-библиотек DFlash и PFlash
- —117 ГБ в секунду вместо 215 — столько выдают дешёвые mini-PC, где прошивка режет шину памяти вдвое
- Честно
- Автор ничего не рекламирует и сам выбрал AMD-бокс, но почти все цифры в ролике взяты из чужих замеров и отчётов сообщества, а не из его собственных тестов. Точных команд и значений для четырёх настроек AMD в речи нет: назван только их смысл — headless-режим, поднятый лимит памяти для GPU, демон производительности и строка в kernel command line. Цены приведены для конкретных конфигураций на 128 ГБ и меняются вместе с рынком.
Если слова незнакомы — 6 терминов
- prefillфаза, где модель читает весь присланный текст; упирается в вычисления видеоядра
- decodeфаза, где модель выдаёт ответ по слову; упирается в скорость памяти
- MoEмодель, где на каждый токен работает лишь часть параметров, поэтому памяти нужно меньше
- пропускная способность памятисколько гигабайт в секунду чип может прокачать из памяти
- терафлопстриллион операций в секунду — так мерят вычислительную мощность видеоядра
- hipBLASбиблиотека линейной алгебры, без которой видеоядро AMD работает в разы медленнее
Связки из этого ролика
4 шт.- AMD Ryzen AI Max+ 395 + llama.cpp + библиотеки DFlash и PFlash под MIT — кратное ускорение decode и prefill на встроенном GPU
- AMD-бокс + четыре программные настройки (headless-режим, GPU allocation, performance daemon, строка в kernel command line) — +12–13% prefill без замены железа
- Mac Studio M5 + dense-модель — предсказуемое преимущество 2.26× по памяти ценой $1 400
- констелляция малых моделей (27–30B как основная плюс routing, summarization, vision) + 128 ГБ unified memory — локальный always-on workflow вместо одной большой модели
Компоненты
16 шт.Формат: обзор · для продвинутых · уверенность разметки 0.82 · источник