Риг за $35 с 54 ГБ VRAM: скорость даёт один флаг

Что в ролике
Автор разбирает историю российского майнинг-рига за 3000 рублей ($35): девять карт P106-100 с 54 ГБ VRAM запускают Qwen 3,6 35B со скоростью 30 токенов в секунду. Быстрота объясняется не объёмом памяти, а архитектурой mixture-of-experts: модель читает лишь около 3 млрд параметров на токен, то есть примерно 2 ГБ при 4-битном квантовании, поэтому пропускной способности 192 ГБ/с хватает с запасом. Девять карт работают как единый пул памяти, но скорость упирается в одну карту из-за медленных линий PCIe 2,0 x1 и послойного разделения, поэтому реально занято 23 ГБ, а 31 ГБ простаивает. Тот же результат даёт обычный десктоп 2015 года с GTX 1080 8 ГБ и 32 ГБ системной памяти: флаг `--n-cpu-moe` в llama.cpp держит экспертов в RAM, и карта выдаёт 24,94 токена в секунду, а ноутбучная RTX 3070 mobile — 32,82. Риг полезен для 8-битной точности (модель занимает около 38 ГБ), длинного контекста до 65 000 токенов и параллельного запуска нескольких задач, но за это приходится платить простоем: 63 Вт в покое обходятся примерно в 8,35 доллара в месяц при среднем тарифе США. Под нагрузкой миллион выходных токенов стоит около 30 центов против 10–90 центов у API-провайдеров, но с учётом простоя выгода появляется только при круглосуточной работе агентов, а разовая покупка рига за $35 не воспроизводится: карты по $21, но плата, райзеры и блок питания поднимают цену. Автор советует сначала использовать существующее железо: установить llama.cpp, скачать 4-битную сборку Qwen 3,6 35B от Unsloth, запустить llama-bench с флагом `--n-cpu-moe 30` и сравнить генерацию токенов в секунду; если двухканальная память не настроена, это можно исправить бесплатно.
Практика
- Что получишь
- Поймёте, что для запуска 35B-модели в 4 битах не нужен риг на 54 ГБ: достаточно 8 ГБ видеопамяти, 32 ГБ ОЗУ и одного флага `--n-cpu-moe`, и сможете снять реальные цифры на своём железе.
- Первый шаг
- Установить llama.cpp (не Ollama), скачать 4-битную сборку Qwen 3,6 35B от Unsloth и запустить `llama-bench` с параметром `--n-cpu-moe 30`, чтобы сравнить скорость.
- Цифры
- —35 долларов — цена майнинг-рига, которую заплатил покупатель за 54 ГБ видеопамяти
- —30 токенов в секунду — скорость, с которой риг генерировал Qwen 3,6 35B
- —24,94 токена в секунду — скорость того же 4-битного Qwen на GTX 1080 с 8 ГБ и 32 ГБ RAM при `--n-cpu-moe 30`
- —63 Вт — измеренное потребление простоя P102-карты, на девяти картах это около 8,35 доллара в месяц при среднем тарифе США
- Честно
- Автор в конце призывает подписаться на канал и оставить комментарий со своей скоростью, чтобы собрать таблицу; платных курсов, партнёрских ссылок и спонсора в ролике нет. Он не измерял майнинг-риг сам: цифры 30 токенов/с и 63 Вт простоя взяты из поста и комментариев, а сравнение на других картах — из статей XDA Developers и замеров разработчиков. Покупка подержанного рига рискованна: продавец не дал проверить устройство, а после 2028 года драйверы для Pascal перестанут обновляться.
Если слова незнакомы — 4 терминов
- mixture-of-expertsмодель, которая для каждого токена включает лишь небольшую часть параметров, а не всю сеть
- квантованиесжатие весов модели до меньшей точности, например 4 бита, чтобы уменьшить память
- PCIeшина, по которой видеокарты общаются с системой, скорость зависит от поколения и числа линий
- llama.cppбесплатный движок для запуска локальных языковых моделей, поддерживает выгрузку части весов в обычную память
Связки из этого ролика
4 шт.- 9x NVIDIA P106-100 + Qwen 3.6 35B MoE 4-bit
- GTX 1080 8GB + Intel i7 6700 + 32GB DDR4 + llama.cpp --n-cpu-moe
- Mobile RTX 3070 8GB + llama.cpp --n-cpu-moe
- RTX 3090 + Qwen 3.6 35B MoE 4-bit
Компоненты
7 шт.Формат: пошаговый урок · для практикующих · уверенность разметки 0.91 · источник