К содержимому
Дайджест

128 ГБ мини-ПК для локального ИИ: что реально запускается

The Stack·21 сентября 2026·15:38
можно прочитать выбрать инструмент
Открыть на YouTube
Разбор мини-ПК Bosque Game M5 с 128 ГБ общей памяти для тех, кто выбирает железо под локальные языковые модели.

Что в ролике

Если вы присматриваетесь к локальному запуску больших языковых моделей, главный вопрос — сколько памяти готовы купить и какой скорости ждать. Bosque Game M5 отдаёт под процессор и графику единый пул 128 ГБ, тогда как обычная видеокарта ограничена 24 ГБ, и модель на 70 млрд параметров на ней уже не помещается. На такой архитектуре не всякая модель быстра: плотные модели грузят все параметры на каждый токен и дают 4–5 токенов в секунду, а смесь экспертов, например 120-миллиардная, задействует лишь 5–6 млрд параметров за шаг и выдаёт 15–56 токенов в секунду. Проблема в другом — обработка длинного промпта упирается в вычислительную мощность, поэтому кодинг-ассистент с целым репозиторием будет подтормаживать перед каждым ответом. Настройка тоже не plug-and-play: Windows по умолчанию отдаёт графике лишь малую часть памяти, а одна и та же модель на llama.cpp без правильных флагов ползёт со скоростью 1,79 токена в секунду, с ними — 15,56. Цена сейчас $2 999, хотя на старте была $1 699, и за эти деньги можно купить обычную видеокарту, которая быстрее для моделей, влезающих в её память. Этот класс машин стоит брать только под большие смеси экспертов в компактном корпусе, иначе выгода исчезает.

Практика

Что получишь
Понимание, за что вы платите $3 000: какие модели на 128-ГБ мини-ПК будут отвечать с нормальной скоростью, где узкое место и почему отдельная видеокарта часто быстрее.
Первый шаг
Определите самую большую модель, которую собираетесь запускать, и проверьте текущую поддержку вашего стека (Windows/Linux, llama.cpp или vLLM) для Strix Halo перед покупкой.
Цифры
  • —128 ГБ — общая память M5 против 24 ГБ у обычной видеокарты
  • —$2 999 — текущая цена 128-ГБ версии, стартовая была $1 699
  • —15,56 против 1,79 токена в секунду — скорость одной модели до и после правильных флагов в llama.cpp
  • —4–5 токенов в секунду у плотной 70B-модели, тогда как смесь экспертов даёт 15–56 токенов в секунду
Честно
Автор просит подписаться на канал, но не рекламирует сам M5 и не даёт партнёрских ссылок. Значительная часть замеров снята на том же чипе Ryzen AI Max+ 395, а не именно на Bosque Game M5, и автор предупреждает, что драйверы и софт обновляются быстро. Заявление производителя о производительности как у RTX 4070 и цифра операций в секунду взяты из маркетинга и относятся к разным частям чипа.
Если слова незнакомы — 5 терминов

Связки из этого ролика

3 шт.

Компоненты

3 шт.

Формат: обзор · для практикующих · уверенность разметки 0.9 · источник