Mac или ПК: что выбрать для запуска AI-моделей

Что в ролике
Если вы выбираете компьютер под локальный запуск больших моделей, решают два числа: сколько быстрой памяти доступно GPU и с какой скоростью эта память читается. Автор объясняет, что модель из 27 миллиардов параметров в 4-битной квантизации занимает около 17 ГБ, поэтому она должна целиком помещаться в VRAM или unified memory, иначе скорость падает на 95 процентов. Для оценки скорости он даёт формулу «пропускная способность памяти, делённая на размер модели», которую проверяет на M5 Max: при 614 ГБ/с потолок 36 токенов в секунду, а реально выходит 31,4. Далее идут бенчмарки Qwen 3 27B из гайда Context Studio: RTX 5090 выдаёт 75 токенов в секунду, RTX 4090 — 46, RTX 3090 — 40, M5 Max — 31,4, а DGX Spark — от 12 до 17. Отдельно автор показывает разрыв в обработке входящего контекста: у RTX 4090 около 3000 токенов в секунду, а у M5 Max — 800, и напоминает, что модели с mixture of experts теперь загружаются целиком, но считают только активную часть параметров, поэтому требуют много памяти, но меньше пропускной способности. В покупке он предлагает лестницу: от Mac Studio M5 Ultra с 1,2 ТБ/с и до 512 ГБ памяти до бюджетных вариантов вроде RTX 5060 Ti или Intel Arc B580, а самой выгодной покупкой называет б/у RTX 3090 с 24 ГБ VRAM и 936 ГБ/с.
Практика
- Что получишь
- Поймёте, как объём и пропускная способность памяти влияют на скорость, научитесь заранее оценивать токены в секунду по модели и железу, и получите ориентиры от б/у RTX 3090 до Mac Studio M5 Ultra с ценами и ограничениями.
- Первый шаг
- Определите модель и её размер в 4-битной квантизации, затем посчитайте потолок скорости по формуле «пропускная способность памяти, делённая на размер модели» и сверьтесь с бенчмарками Context Studio.
- Цифры
- —614 ГБ/с — пропускная способность памяти у MacBook Pro M5 Max; формула даёт потолок 36 токенов в секунду, реальный бенчмарк — 31,4
- —75 токенов в секунду — скорость RTX 5090 на модели Qwen 3 27B без оптимизаций против 46 у RTX 4090 и 40 у RTX 3090
- —3000 токенов в секунду — скорость обработки входящего контекста у RTX 4090 против 800 у M5 Max
- —1,2 ТБ/с и до 512 ГБ unified memory — характеристики Mac Studio M5 Ultra, который автор называет топом для локального AI
- Честно
- Ролик содержит рекламную интеграцию Memocat (код в описании), но на содержание гайда это не влияет. Автор не даёт одну конкретную рекомендацию, а показывает лестницу вариантов и сам оговаривает, что цены зависят от недели, региона и конфигурации; часть цифр — из его личного опыта, а бенчмарки взяты из гайда Context Studio по ссылке в описании. Для точного выбора всё равно нужно смотреть бенчмарк нужной модели, потому что в пересказе не указаны все конфигурации и оптимизации.
Если слова незнакомы — 6 терминов
- токенминимальная единица текста, которую модель генерирует или читает за шаг
- параметрычисловые веса модели, количество которых указывает на её размер
- квантизациясжатие чисел модели с 16 до 4 бит для экономии памяти
- VRAMотдельная быстрая память видеокарты
- unified memoryединый пул памяти, к которому имеют доступ и процессор, и GPU (используется в Mac и DGX Spark)
- mixture of expertsархитектура модели, где при каждом токене активна только часть параметров
Компоненты
6 шт.Формат: разбор · для практикующих · уверенность разметки 0.9 · источник