256 ГБ VRAM для локального ИИ: все маршруты и честные цены

Что в ролике
Выбор машины под локальный запуск DeepSeek V4,1 Flash сводится не к гигабайтам, а к битности квантования: 256 ГБ хватает только на 3-битную сборку, тогда как 4-битная требует около 300 ГБ. Mac Studio с M5 Ultra и 256 ГБ стоит 9 499 долларов, но из коробки GPU получает лишь 192 ГБ, и для 3-бит нужно прописать команду на 248 ГБ; скорость записи 70–105 токенов в секунду на TensorFlow против 26–29 на MLX. Пара NVIDIA DGX Spark за 13 900 долларов даёт около 260 ГБ и читает промпты на 2 100 токенов в секунду, но пишет 31 токен в секунду без черновика и до 131 с DeepSeek draft head. Пара мини-ПК на AMD Strix Halo (128 ГБ, около 7 000–7 800 долларов за обе) на деле даёт от 192 до 240 ГБ под GPU, и в связке по USB4 скорость записи лишь 27 токенов в секунду, а чтение 700–750. Самый дешёвый путь к 4-биту — сервер на подержанном AMD EPYC с RTX 3090 и 256 ГБ DDR4: вся сборка около 6 000 долларов, 26 токенов в секунду на одного пользователя, а апгрейд до 300 ГБ — это две планки по 64 ГБ за 798 долларов. Восемь карт Radeon AI Pro R19700 или Intel Arc Pro B70 стоят 10 240–13 600 долларов только за карты, но цифр по DeepSeek на таких сборках нет, а путь на старых V100 или MI50 дешевле, но упирается в отказ CUDA 13 и vLLM 0,20. Сравнение с API: 9 499 долларов хватит на 15,8 млрд выходных токенов по оффпиковой цене DeepSeek, а Mac окупится через 6–14 лет, поэтому для большинства API остаётся правильным выбором. Итог: если нужна приватность, берите Mac за простоту или DDR4-сервер за цену и апгрейд; если же данные можно отдавать в облако, API уже отдаёт все 4 бита дешевле доллара за миллион токенов.
Практика
- Что получишь
- Карту всех реальных вариантов локального запуска DeepSeek V4,1 Flash с ценами, скоростями и ограничениями. Поймёте, чем 3-бит отличается от 4-бит и какой апгрейд к 4-биту обойдётся в каждом маршруте.
- Первый шаг
- Начните с проверки фактически доступной GPU-памяти на своей машине и сравните её с необходимыми объёмами для 3-битной и 4-битной сборок из ролика, прежде чем покупать железо.
- Цифры
- —9 499 долларов — цена базового Mac Studio с 256 ГБ и M5 Ultra
- —248 ГБ — лимит GPU-памяти на Mac, который нужно выставить командой, чтобы запустить 3-битную сборку
- —798 долларов — стоимость двух планок DDR4 по 64 ГБ, апгрейд DDR4-сборки до 4-битной
- —15,8 млрд токенов — столько выходных токенов можно купить у DeepSeek API за те же 9 499 долларов по оффпиковой цене
- Честно
- Автор не продвигает свои продукты, курсы или партнёрские ссылки, только просит подписаться в конце ролика. Все цены и скорости взяты из сообщений владельцев и форумов, а не из официальных тестов; часть цифр, особенно по DDR4-сборке с 4-бит, ещё никем не подтверждена. Точная команда для Mac с лимитом GPU-памяти в речи не названа, вероятно она показана на экране.
Если слова незнакомы — 6 терминов
- квантование (битность)сжатие весов модели путём снижения точности чисел: 4-бит точнее 3-бит, но занимает больше памяти
- токенединица текста, которую модель читает или генерирует, обычно часть слова
- контекстобъём текста, который модель может учитывать в одном запросе
- draft headлёгкая модель, которая быстро предлагает варианты следующего токена, а основная модель их проверяет, ускоряя генерацию
- CUDAтехнология NVIDIA для вычислений на видеокартах, нужна для многих ИИ-движков
- vLLMпопулярный движок для запуска больших языковых моделей, который требует современные видеокарты
Связки из этого ролика
7 шт.- RTX 3090 + 256GB DDR4 + 200GB SSD
- 2x NVIDIA DGX Spark
- Mac Studio M5 Ultra 256GB
- 8x V100
- 4x MI50
- 2x Strix Halo mini PCs
- RTX Pro 6000 + 512GB DDR4
Компоненты
9 шт.Формат: подборка · для практикующих · уверенность разметки 0.95 · источник