54 ГБ VRAM за $35: ферма из девяти карт

Что в ролике
Российский энтузиаст собрал ферму из девяти утилизированных майнинговых карт Nvidia P106-100, получив 54 ГБ видеопамяти примерно за 35 долларов, тогда как б/у RTX 3090 стоит около 1800 долларов. Каждая карта несёт 6 ГБ GDDR5 и шину 192 ГБ/с, но при layer splitting девять карт работают по очереди, поэтому эффективная пропускная способность всей сборки остаётся на уровне одной карты. Плотная 70B-модель, квантованная в Q4_K_M, занимает около 42 ГБ и помещается в память, однако теоретический предел генерации — 4,6 токена в секунду, а на практике выходит 2–3. Разреженная MoE-модель с 35 млрд параметров, из которых на токен активны около 3 млрд, читает всего 2 ГБ весов за шаг и выдаёт 30–40 токенов в секунду, а с тюнингом контекста — до 50–60. В Восточной Европе P106 стоят 12–21 доллар, P104 8 ГБ — 30 долларов, готовые фермы с райзерами и питанием — около 240, но в США собрать аналогичную конфигурацию обойдётся в 800–1300 долларов, и выгоднее взять три Tesla P100 по 155 долларов с 48 ГБ и 732 ГБ/с каждая. Скрытые издержки включают 150 Вт простоя и счёт около 20 долларов в месяц, медленный prefill на уровне 400 токенов в секунду и загрузку 20-гигабайтной модели с USB-флеш-накопителя почти 10 минут. Поддержка Pascal заканчивается: драйвер NVIDIA 580 — последний для этой архитектуры, а CUDA 13 уже не поддерживает compute capability 6.1.
Практика
- Что получишь
- Понять, в каких сценариях ферма из старых майнинговых карт подходит для локальных LLM, а в каких лучше взять бывшие серверные ускорители.
- Первый шаг
- Проверьте цены на вторичном рынке в своём регионе: P106/P104 в Восточной Европе или Tesla P100/P40 в США, прежде чем собирать ферму.
- Цифры
- —35 долларов — примерно столько стоили девять майнинговых карт в российском кейсе
- —192 ГБ/с — пропускная способность одной P106, она же узкое место всей фермы
- —4,6 токена/с — теоретический максимум для плотной 70B-модели Q4_K_M на этой сборке
- —800–1300 долларов — стоимость похожей фермы в США без учёта дешёвого доступа к картам
- Честно
- Автор продвигает членство на канале RepoChad и просит поставить лайк и подписаться, но технический разбор этого не требует. Цены на вторичном рынке нестабильны: в США аналогичная ферма обойдётся в 800–1300 долларов, а не в 35, поэтому кейс из Восточной Европы нельзя переносить напрямую. Пошаговой инструкции по сборке нет — параметры разбиения модели по слоям, команды для Llama.cpp/Ollama и настройки контекста придётся искать самостоятельно.
Если слова незнакомы — 5 терминов
- VRAMвидеопамять, используемая для хранения весов модели
- layer splittingразбиение модели по слоям между несколькими видеокартами
- Q4_K_Mформат сжатия весов модели до 4 бит, уменьшающий размер файла
- MoEархитектура mixture of experts, где на каждый токен активна лишь часть параметров
- prefillобработка входного запроса до начала генерации текста
Связки из этого ролика
5 шт.- 9x Nvidia P106-100 (54 GB VRAM)
- 3x Tesla P100 (48 GB HBM2)
- Tesla P40 (24 GB)
- AMD BC-250 (16 GB unified GDDR6)
- CMP 170HX (unlocked to 64 GB)
Компоненты
6 шт.Формат: разбор · для практикующих · уверенность разметки 0.9 · источник