Вторая RTX 3060: тесты скорости и настройка двух карт

Что в ролике
Автор начинает с одного RTX 3060, где 35-миллиардная модель выдаёт около 70 токенов в секунду, и проверяет, удвоит ли скорость вторая карта. Для сборки он купил материнскую плату MSI X870E Carbon, но ошибся: вторая карта получает только четыре линии PCIe Gen4 вместо заявленных восьми, поэтому перед покупкой нужно смотреть разводку линий в мануале или командой nvidia-smi. На уровне софта он поставил Proxmox с ZFS, пробросил обе видеокарты в LXC-контейнер с Docker и настроил подписывание драйвера NVIDIA без отключения Secure Boot. В llama.cpp обычный режим layer split делит модель по слоям и карты работают по очереди, а режим tensor split делит каждый слой, и на dense-модели 27B скорость выросла с 14 до 45 токенов в секунду, на 35B MOE — с 70 до 130 почти вдвое. Для больших моделей вроде Qwen 3.8 Flash на 125B второй GPU почти не помогает, потому что модель в основном лежит в системной памяти, и апгрейд DDR5 дал больше прироста. В ComfyUI стандартный запуск использует одну карту: изображение 1024x1024 в Qwen Image 2.1 считается за 30 секунд, а трёхсекундный клип MiniMax H3 — за полторы минуты, и перенос VAE и текстового энкодера на вторую карту ускорения не дал. Расширение raylight разбивает видео по кадрам на обе карты, обе загружаются примерно на 90%, тот же клип считается за 82 секунды, а потребление RAM падает с 52 до 10 гигабайт.
Практика
- Что получишь
- Понимание, в каких сценариях вторая 3060 даёт почти двукратный прирост, как настроить llama.cpp и ComfyUI для двух карт и когда вместо GPU выгоднее добавить RAM.
- Первый шаг
- Перед покупкой второй карты проверьте в мануале материнской платы или командой nvidia-smi, сколько линий PCIe получит каждый слот.
- Цифры
- —130 токенов в секунду — скорость 35B MOE в повседневной работе на двух картах против 70 на одной
- —45 токенов в секунду — скорость dense-модели 27B на двух картах против 14 на одной
- —82 секунды — время генерации трёхсекундного H3-клипа с расширением raylight против примерно 90 секунд без него
- —52 гигабайта до 10 гигабайт — потребление RAM при генерации видео падает с raylight
- Честно
- Автор не рекламирует платные продукты, но в конце просит подписаться на канал. Все настройки он показывает на экране, однако конкретные шаги подписания драйвера и собственная панель управления не расписаны дословно. Цифры получены на его конфигурации с разъёмом PCIe Gen4 x4, который автор считает компромиссным, а в сообществе на Gen3 x4 tensor split работает хуже.
Если слова незнакомы — 5 терминов
- PCIeшина, по которой видеокарта общается с процессором; количество линий определяет пропускную способность
- tensor splitрежим, при котором каждый слой модели делится между картами, и обе работают над каждым токеном
- MOEmixture of experts, модель, где для каждого токена активна только часть параметров
- VAEчасть диффузионной модели, которая переводит картинку из сжатого представления в пиксели
- RAMобычная системная память, в отличие от видеопамяти VRAM
Связки из этого ролика
3 шт.- Proxmox + LXC + Docker + NVIDIA Container Toolkit
- llama.cpp + tensor split + MTP
- ComfyUI + Raylight
Компоненты
12 шт.Формат: сборка на живом примере · для практикующих · уверенность разметки 0.85 · источник