128 ГБ мини-ПК для локального ИИ: что реально запускается

Что в ролике
Если вы присматриваетесь к локальному запуску больших языковых моделей, главный вопрос — сколько памяти готовы купить и какой скорости ждать. Bosque Game M5 отдаёт под процессор и графику единый пул 128 ГБ, тогда как обычная видеокарта ограничена 24 ГБ, и модель на 70 млрд параметров на ней уже не помещается. На такой архитектуре не всякая модель быстра: плотные модели грузят все параметры на каждый токен и дают 4–5 токенов в секунду, а смесь экспертов, например 120-миллиардная, задействует лишь 5–6 млрд параметров за шаг и выдаёт 15–56 токенов в секунду. Проблема в другом — обработка длинного промпта упирается в вычислительную мощность, поэтому кодинг-ассистент с целым репозиторием будет подтормаживать перед каждым ответом. Настройка тоже не plug-and-play: Windows по умолчанию отдаёт графике лишь малую часть памяти, а одна и та же модель на llama.cpp без правильных флагов ползёт со скоростью 1,79 токена в секунду, с ними — 15,56. Цена сейчас $2 999, хотя на старте была $1 699, и за эти деньги можно купить обычную видеокарту, которая быстрее для моделей, влезающих в её память. Этот класс машин стоит брать только под большие смеси экспертов в компактном корпусе, иначе выгода исчезает.
Практика
- Что получишь
- Понимание, за что вы платите $3 000: какие модели на 128-ГБ мини-ПК будут отвечать с нормальной скоростью, где узкое место и почему отдельная видеокарта часто быстрее.
- Первый шаг
- Определите самую большую модель, которую собираетесь запускать, и проверьте текущую поддержку вашего стека (Windows/Linux, llama.cpp или vLLM) для Strix Halo перед покупкой.
- Цифры
- —128 ГБ — общая память M5 против 24 ГБ у обычной видеокарты
- —$2 999 — текущая цена 128-ГБ версии, стартовая была $1 699
- —15,56 против 1,79 токена в секунду — скорость одной модели до и после правильных флагов в llama.cpp
- —4–5 токенов в секунду у плотной 70B-модели, тогда как смесь экспертов даёт 15–56 токенов в секунду
- Честно
- Автор просит подписаться на канал, но не рекламирует сам M5 и не даёт партнёрских ссылок. Значительная часть замеров снята на том же чипе Ryzen AI Max+ 395, а не именно на Bosque Game M5, и автор предупреждает, что драйверы и софт обновляются быстро. Заявление производителя о производительности как у RTX 4070 и цифра операций в секунду взяты из маркетинга и относятся к разным частям чипа.
Если слова незнакомы — 5 терминов
- промпттекст-задание, которое вы отправляете модели
- токенединица текста, примерно слово или часть слова, которую модель генерирует за шаг
- плотная модельнейросеть, у которой при вычислениях задействуются все параметры
- смесь экспертовархитектура, где на каждый токен работает только небольшая часть параметров, что ускоряет генерацию
- llama.cppпопулярный движок для запуска локальных моделей на разных процессорах
Связки из этого ролика
3 шт.- AMD Ryzen AI Max+ 395 + Radeon 860S + 128GB LPDDR5X unified memory
- llama.cpp + ROCm + Qwen 3.8 Flash Next
- vLLM + ROCm
Компоненты
3 шт.Формат: обзор · для практикующих · уверенность разметки 0.9 · источник