Моддинг видеокарт для локального AI: риски и цены

Что в ролике
Локальный запуск больших моделей упирается в объём видеопамяти, и переделанные видеокарты продают дополнительный объём без смены GPU. Автор делит такой серый рынок на три типа: перепайка памяти под 48 гигабайт у RTX 4090 или 32 у 4080 Super, программная разблокировка майнинговой CMP 170HX и переходники для серверных Tesla V100 или A100. Подробнее всего разобрана 48-гигабайтная 4090: она работает на стандартном драйвере Nvidia, по скорости не уступает стоковой, и измеренная пропускная способность памяти во время декодинга лежит в районе 916–931 гигабайта в секунду. Для модели на 70 миллиардов параметров в 4-битной квантизации предел декодинга на одной такой карте — около 25 токенов в секунду, а на практике выходит около 20 или чуть меньше. Продавцы просят за неё от 3350 до 6500 долларов, причём это почти цена бывшей стоковой 4090 с 24 гигабайтами, а RTX Pro 6000 с 96 гигабайтами стоит около 16 тысяч. Самые опасные варианты — фейковые объявления, например RTX 5090 на 96 гигабайт за 3888 долларов, и карты CMP 170HX, которые требуют Linux, отключённого Secure Boot и повторной разблокировки после обновления ядра. Если нужна тихая карта с гарантией и без возни, автор советует подержанную 3090, Arc Pro B70 на 32 гигабайта или Mac с большим объединённым пулом памяти.
Практика
- Что получишь
- Понимание, какие переделанные карты реально работают, сколько они стоят и во что обойдутся пошлины и риски, чтобы не купить фейк или карту без гарантии.
- Первый шаг
- Перед покупкой найти продавца с историей сделок, попросить тестовое видео с FurMark, GPU-Z и nvidia-smi, где видно полный объём памяти, и оплачивать только через платформу или PayPal.
- Цифры
- —48 гигабайт — столько видеопамяти получает RTX 4090 после перепайки на 24 модуля по 2 гигабайта
- —около 25 токенов в секунду — теоретический потолок декодинга 70B-модели в Q4 на одной 48-гигабайтной 4090
- —от 3350 до 6500 долларов — диапазон цен на модифицированную 48-гигабайтную 4090 у продавцов на Alibaba и eBay
- —около 16 тысяч долларов — столько стоит RTX Pro 6000 с 96 гигабайтами, с которой сравнивают переделку
- Честно
- Автор прямо продвигает членство на своём канале, а данные по надёжности перепаянных карт берёт только у продавца GPU Lab, который сам их продаёт, при этом независимых исследований нет. Большая часть цен и тестов показана на экране, в пересказе их можно сверить только с транскриптом. Для повторения проверки после покупки нужны утилиты Memtest Vulcan, GPU Burn и llama-bench — по тексту их придётся искать отдельно.
Если слова незнакомы — 5 терминов
- CUDA-картавидеокарта Nvidia, на которой можно запускать вычисления и нейросети
- VRAMвидеопамять карты, куда загружается модель
- токенединица текста, которую модель генерирует за один шаг
- квантизациясжатие весов модели с потерей точности ради уменьшения размера
- Llama CPPинструмент для запуска языковых моделей на обычном компьютере
Связки из этого ролика
4 шт.- llama.cpp
- vllm
- CUDA
- Vulkan
Компоненты
7 шт.Формат: разбор · для продвинутых · уверенность разметки 0.85 · источник