К содержимому
Дайджест

RTX 3090 против 5090: локальный ИИ без переплаты

The Stack·24 сентября 2026·12:38
можно прочитать выбрать инструмент
Открыть на YouTube
Разбор сравнения RTX 3090 и RTX 5090 на одной локальной модели для тех, кто решает, стоит ли переплачивать за новую карту.

Что в ролике

RTX 3090 (24 ГБ) и RTX 5090 (32 ГБ, $1999) сравнивают на одной 17 ГБ 4-битной модели Quen 3.827B, запущенной локально в llama.cpp. На запись ответов 5090 выдал 74 токена/с против 41 у 3090, а с включённым MTP разрыв вырос до 113 против 55 — примерно вдвое. Причина в пропускной способности памяти: 5090 читает память около 1792 ГБ/с против 936 ГБ/с у 3090, и модель при каждом токене перечитывает весь файл. На обработку промпта 5090 оказался в 2,7 раза быстрее по тесту llama.cpp на маленькой модели (15000 против 5600 токенов/с). По памяти: 24 ГБ хватает, чтобы запустить модель с полным контекстом 262000 токенов, если сжать кэш, хотя 5090 позволяет использовать менее сжатые 6-битные файлы на большом окне. Но в сентябре реальные цены 5090 в США были в 2–5 раз выше $1999, а карта потребляет 575 Вт против 350 Вт у 3090. Автор советует владельцам 3090 обновить llama.cpp и включить MTP — это бесплатно поднимает скорость с 41 до примерно 63,5 токенов/с.

Практика

Что получишь
Чёткое сравнение двух видеокарт на одной модели и простой способ ускорить RTX 3090 без покупки новой карты.
Первый шаг
Обновите llama.cpp и включите MTP для своей модели, чтобы бесплатно ускорить генерацию на RTX 3090.
Цифры
  • —74 токена/с — скорость записи у 5090 без MTP против 41 у 3090
  • —113 токенов/с — медианная скорость 5090 с MTP против 55 у 3090
  • —2,7 раза — насколько 5090 быстрее обрабатывает промпт на маленькой тестовой модели
  • —575 Вт против 350 Вт — энергопотребление 5090 и 3090 по спецификации
Честно
Автор в середине ролика просит подписаться на канал, другой рекламы или партнёрских ссылок нет. Все цифры взяты из сторонних бенчмарков и таблицы сообщества на GitHub, а не из собственных замеров. Конкретные названия двух настроек сжатия кэша в llama.cpp не названы — их придётся найти в документации.
Если слова незнакомы — 5 терминов

Связки из этого ролика

3 шт.

Компоненты

1 шт.

Формат: обзор · для практикующих · уверенность разметки 0.9 · источник