RTX 3090 против 5090: локальный ИИ без переплаты

Что в ролике
RTX 3090 (24 ГБ) и RTX 5090 (32 ГБ, $1999) сравнивают на одной 17 ГБ 4-битной модели Quen 3.827B, запущенной локально в llama.cpp. На запись ответов 5090 выдал 74 токена/с против 41 у 3090, а с включённым MTP разрыв вырос до 113 против 55 — примерно вдвое. Причина в пропускной способности памяти: 5090 читает память около 1792 ГБ/с против 936 ГБ/с у 3090, и модель при каждом токене перечитывает весь файл. На обработку промпта 5090 оказался в 2,7 раза быстрее по тесту llama.cpp на маленькой модели (15000 против 5600 токенов/с). По памяти: 24 ГБ хватает, чтобы запустить модель с полным контекстом 262000 токенов, если сжать кэш, хотя 5090 позволяет использовать менее сжатые 6-битные файлы на большом окне. Но в сентябре реальные цены 5090 в США были в 2–5 раз выше $1999, а карта потребляет 575 Вт против 350 Вт у 3090. Автор советует владельцам 3090 обновить llama.cpp и включить MTP — это бесплатно поднимает скорость с 41 до примерно 63,5 токенов/с.
Практика
- Что получишь
- Чёткое сравнение двух видеокарт на одной модели и простой способ ускорить RTX 3090 без покупки новой карты.
- Первый шаг
- Обновите llama.cpp и включите MTP для своей модели, чтобы бесплатно ускорить генерацию на RTX 3090.
- Цифры
- —74 токена/с — скорость записи у 5090 без MTP против 41 у 3090
- —113 токенов/с — медианная скорость 5090 с MTP против 55 у 3090
- —2,7 раза — насколько 5090 быстрее обрабатывает промпт на маленькой тестовой модели
- —575 Вт против 350 Вт — энергопотребление 5090 и 3090 по спецификации
- Честно
- Автор в середине ролика просит подписаться на канал, другой рекламы или партнёрских ссылок нет. Все цифры взяты из сторонних бенчмарков и таблицы сообщества на GitHub, а не из собственных замеров. Конкретные названия двух настроек сжатия кэша в llama.cpp не названы — их придётся найти в документации.
Если слова незнакомы — 5 терминов
- llama.cppбесплатная программа для запуска языковых моделей на своём компьютере
- токенчасть слова или символ, на которые делится текст для модели
- MTPрежим, при котором модель угадывает несколько следующих токенов за один проход памяти
- 4-битная модельфайл модели, сжатый так, чтобы каждое число занимало около 4 бит, с потерей точности
- контекстобъём текста, который модель может учитывать в одном разговоре
Связки из этого ролика
3 шт.- llama.cpp + Quen 3.827B
- RTX 3090 + llama.cpp
- RTX 5090 + llama.cpp
Компоненты
1 шт.Формат: обзор · для практикующих · уверенность разметки 0.9 · источник