512 ГБ для локального ИИ: что купить и что реально влезает

Что в ролике
Apple назначила цену за Mac Studio на 512 ГБ — $22 299, из которых $15 500 стоит только апгрейд памяти, а поставка займёт 10–12 недель. За последние две недели вышли открытые модели, которые как раз требуют таких объёмов: Meta Muse Spark Open на 816 миллиардов параметров, MiniMax M3.1 Flash на 428 миллиардов и Mistral Large 4 на триллион параметров. При полном контексте в миллион токенов решает не только размер весов, но и KV-кэш: у DeepSeek V4.1 Flash он занимает меньше гигабайта, а у MiniMax M3.1 Flash — 129 гигабайт, поэтому в 512 ГБ помещаются лишь четыре модели, а флагманы вроде GLM 5.3 или Mistral Large 4 не влезают. Самый дешёвый путь — серверная плата ASRock с 16-ядерным AMD EPYC и 512 ГБ DDR4 за $2 999 плюс подержанная RTX 3090 за $1 550, но чтение миллиона токенов займёт от 4 до 10 часов. Подержанный Mac Studio M3 Ultra на 512 ГБ продаётся на eBay в районе $16 500 и читает миллион токенов около 45 минут, а четыре DGX Spark за $25–28 тысяч справляются за 4,5 минуты. Восемь RTX Pro 6000 дают 768 ГБ и читают тот же промпт примерно за 2 минуты, но вся машина обойдётся в $135–150 тысяч, тогда как аренда таких карт стоит $1067 в час. API DeepSeek берёт $0,15 за миллион входных токенов вне пика, поэтому для разовых прогонов это дешевле электричества на 16 MI50, которое обходится в $2,27.
Практика
- Что получишь
- Поймёте, какие открытые модели реально помещаются в 512 ГБ с полным контекстом, и сравните все доступные сборки по цене и скорости чтения длинных промптов.
- Первый шаг
- Определите, под какую модель вам нужна машина: для DeepSeek V4.1 Flash хватит около 300 ГБ, поэтому сначала проверьте её требования, а не покупайте 512 ГБ вслепую.
- Цифры
- —$22 299 — столько Apple просит за новый Mac Studio на 512 ГБ, апгрейд памяти отдельно стоит $15 500
- —16 500 долларов — медианная цена подержанного 512-гигабайтного Mac Studio M3 Ultra на eBay за последние 7 дней
- —$0,15 — столько DeepSeek берёт за миллион входных токенов вне пика, тогда как электричество на 16 MI50 обходится в $2,27 за тот же объём
- —4,5 минуты — за столько четыре DGX Spark читают промпт на миллион токенов, у подержанного M3 Ultra это 45 минут
- Честно
- В конце автор продвигает платное членство на канале: за приоритетный ответ с готовым списком комплектующих нужно вступить через кнопку Join. Цены в основном взяты с eBay по фактическим продажам или прайсам, но для нового M5 Ultra независимых бенчмарков нет, только заявления Apple. Часть старых карт (MI50, V100, Gaudi 2) держится на форках и неофициальной поддержке, а Gaudi 2 в основной библиотеке Hugging Face теряет поддержку 31 октября.
Если слова незнакомы — 3 терминов
- токенминимальная единица текста, которую модель читает и генерирует
- KV-кэшобласть памяти, где модель хранит заметки о каждом токене, чтобы помнить предыдущий разговор
- APIинтерфейс, через который программисты обращаются к модели на чужих серверах
Связки из этого ролика
8 шт.- DDR4 server + RTX 3090
- AMD MI50 cluster
- NVIDIA V100 8-GPU server
- AMD Strix Halo mini PC cluster
- Mac Studio M3 Ultra
- NVIDIA DGX Spark cluster
- RTX Pro 6000 multi-GPU
- NVIDIA DGX Station
Компоненты
4 шт.Формат: подборка · для продвинутых · уверенность разметки 0.85 · источник