256 ГБ видеопамяти: цена, срок жизни и что выбрать

Что в ролике
Перед покупкой 256 ГБ видеопамяти для локального запуска больших моделей нужно считать не только цену, но и три срока: сколько софт будет поддерживать карту, сколько продержится модель и сколько вернётся при продаже. eBay-сервер с восемью V100 по 32 ГБ продают за 5899 долларов, но CUDA 13 и vLLM 0,20 уже не поддерживают архитектуру Volta, LM Studio не видит эти карты, а электричество для 3-киловаттной стойки съедает около 1900 долларов в год. Mac Studio M5 Ultra на 256 ГБ стоит 9499 или 10799 долларов, по умолчанию отдаёт модели около 192 ГБ, а после терминальной команды — 230–248 ГБ, и пишет 108 токенов в секунду. Два Nvidia DGX Spark по 128 ГБ обойдутся в 10–14 тысяч, пишут наравне с Mac, но длинный промпт на 32 тысячи токенов читают за 17 секунд против 44–50 у Mac. Два AMD Strix Halo мини-ПК стоят около 7000 долларов и дают 210–240 ГБ, но тянут модель лишь на 21 токен в секунду, а новый чип Gorgon Halo уже делает их прошлогодним потолком. Четыре RTX Pro 6000 по 96 ГБ стоят 36–40 тысяч долларов, выдают 70–86 токенов в секунду на Qwen 3,5, а при 32 одновременных пользователях разгоняются до 900 токенов в секунду суммарно. После 10 сентября DeepSeek V4 Flash заменили на V4,1 Flash с 552 миллиардами параметров, и на 256 ГБ эта модель работает только сжатой до 2 бит с памятью на SSD, давая около 21 токена в секунду на Mac вместо 40 у старой. Облако за 6,50–11 долларов в час окупает Mac за 900–1500 часов, а API DeepSeek за 0,60–1,20 доллара за миллион токенов делает локальный запуск для одного человека в 5–9 раз дороже.
Практика
- Что получишь
- Сможете сравнить Mac Studio, серверы на V100, DGX Spark, AMD-мини-ПК и RTX Pro по цене и сроку жизни, а также понять, когда аренда облака выгоднее владения железом.
- Первый шаг
- Проверить, какую последнюю версию CUDA или ROCm поддерживает карта, которую вы хотите купить, и посчитать полезные годы, а не только цену за гигабайт.
- Цифры
- —$5899 — цена готового сервера с восемью V100 по 32 ГБ на eBay, то есть около $23 за гигабайт
- —9499–10799 долларов — стоимость Mac Studio M5 Ultra на 256 ГБ в зависимости от конфигурации
- —108 токенов в секунду — скорость записи M5 Ultra против 70 у M3 Ultra
- —6,50–11 долларов в час — аренда 256 ГБ в облаке, при которой Mac окупается за 900–1500 часов
- Честно
- Автор в конце предлагает платное членство канала за приоритетные ответы и member-only видео, но советы не привязаны к покупке. Сроки жизни в расчётах (серверу два года, Mac пять лет) — его личные допущения, а не гарантии, и цены на новые карты быстро меняются.
Если слова незнакомы — 5 терминов
- токенминимальная единица текста, которую модель читает или генерирует; скорость считают в токенах в секунду
- промптвходной текст, который вы отправляете модели
- CUDAплатформа Nvidia для запуска вычислений на видеокартах
- vLLMдвижок для запуска больших языковых моделей на видеокартах
- APIинтерфейс, через который программе отдают тексты и получают ответы модели
Связки из этого ролика
6 шт.- Mac Studio M5 Ultra 256GB
- DGX Spark x2
- AMD Strix Halo mini PC
- RTX Pro 6000 x4
- V100 8x NVLink server
- MI50 8x server
Компоненты
8 шт.Формат: обзор · для практикующих · уверенность разметки 0.92 · источник