К содержимому
Дайджест

128 ГБ VRAM для локального AI: все способы и цены

Kai·10 октября 2026·18:38
можно прочитать понять, как устроено
Открыть на YouTube
Разбор всех способов получить 128 ГБ памяти для локальных языковых моделей: готовые коробки, серверные карты и апгрейд обычного ПК, с ценами и реальными скоростями.

Что в ролике

Ориентир для локального запуска большой модели — это 128 ГБ памяти, потому что 4-битная сборка модели Quinn 3.8 Flash Next весит от 94 до 124 ГБ и просто не помещается в меньшее железо. Автор объясняет, что у этой модели 125 млрд параметров и отдельная таблица на 51 млрд, из которой на каждое слово читаются лишь около 6 млрд весов, поэтому движок Strata умеет держать активную часть на GPU, а таблицу — в обычной системной памяти. На деле даже дорогие коробки не отдают под модель все заявленные гигабайты: Windows и macOS по умолчанию дают GPU около 96 ГБ, а DGX Spark за $6950 сам сбрасывает часть 124-гигабайтной 4-битной сборки на SSD. Главный практический вывод — не обязательно покупать готовую 128-гигабайтную машину: связка RTX 5070 с 12 ГБ, обычного шестиядерного Ryzen 5 и 64 ГБ оперативной памяти выдаёт от 50 до 94 токенов в секунду в зависимости от 2- или 3-битной сборки и читает промпт на 32 000 токенов со скоростью 1750 токенов в секунду. Готовые варианты с настоящим 128-гигабайтным пулом — это мини-ПК на AMD Ryzen AI Max Plus 395 (Strix Halo) от $3999, Mac Studio с M5 Max за $5999 и DGX Spark за $6950, причём Strix Halo под Linux с правильным движком выдаёт 47–54 токена в секунду на 4-битной модели, а Mac Studio около 40 на прозе и 75 на коде. Серверная сборка из четырёх подержанных Radeon Pro V620 когда-то стоила около $3000 и давала 60–70 токенов в секунду, но теперь карты подорожали и она съедает 500–600 Вт, то есть около $120 в год электричества при четырёх часах в день. Автор советует владельцам ПК с 12-гигабайтной картой сначала докупить 64 ГБ оперативки и запустить 3-битную сборку в Strata, а 4-битную машину покупать только тем, кому важна максимальная точность, и заранее понимать, что движок, а не бренд коробки решает скорость, а также что Strata пока работает только с этим семейством моделей.

Практика

Что получишь
Поймёте, что 128 ГБ на коробке не равно 128 ГБ под модель, и сможете выбрать между дешёвым апгрейдом ПК с 3-битной сборкой и готовой 4-битной машиной. Узнаете, какие движки использовать и где потолок такого подхода.
Первый шаг
Если у вас уже есть ПК с видеокартой на 12 ГБ или больше, докупите 64 ГБ оперативной памяти DDR5 и запустите 3-битную сборку Flash Next в движке Strata до покупки любой 128-гигабайтной коробки.
Цифры
  • —94–124 ГБ — размер 4-битной сборки Quinn 3.8 Flash Next, под которую и нужны 128 ГБ
  • —4 токена в секунду — исходная скорость автора, против 47–54 токенов в секунду у Strix Halo с движком Strata на 4-битной модели
  • —1227 токенов в секунду — чтение 160 000-токенного промпта на Strix Halo с движком GoFo, тогда как первый движок дал 113
  • —$120 в год — электричество серверной сборки из четырёх Radeon Pro V620 при четырёх часах в день и 15 центах за кВт·ч
Честно
Автор не продаёт железо и не даёт партнёрских ссылок, только просит подписаться на будущие тесты. Почти все цифры скорости взяты из постов сообщества и README, а не из единого независимого замера, и для Mac Studio и RTX Spark сторонних тестов на этой модели ещё нет. Конкретные команды установки и конфиги в ролике не зачитываются, их придётся искать в README движков Strata и Halogen.
Если слова незнакомы — 6 терминов

Связки из этого ролика

5 шт.

Компоненты

6 шт.

Формат: разбор · для практикующих · уверенность разметки 0.93 · источник