К содержимому
Дайджест

Mac или ПК: что выбрать для запуска AI-моделей

Tech With Tim·30 сентября 2026·19:15
текст даёт основное понять, как устроено
Открыть на YouTube
Подробный гайд Tech With Tim по выбору железа для локального запуска больших языковых моделей: сравниваются Mac, ПК с видеокартами Nvidia и специализированные устройства с unified memory.

Что в ролике

Если вы выбираете компьютер под локальный запуск больших моделей, решают два числа: сколько быстрой памяти доступно GPU и с какой скоростью эта память читается. Автор объясняет, что модель из 27 миллиардов параметров в 4-битной квантизации занимает около 17 ГБ, поэтому она должна целиком помещаться в VRAM или unified memory, иначе скорость падает на 95 процентов. Для оценки скорости он даёт формулу «пропускная способность памяти, делённая на размер модели», которую проверяет на M5 Max: при 614 ГБ/с потолок 36 токенов в секунду, а реально выходит 31,4. Далее идут бенчмарки Qwen 3 27B из гайда Context Studio: RTX 5090 выдаёт 75 токенов в секунду, RTX 4090 — 46, RTX 3090 — 40, M5 Max — 31,4, а DGX Spark — от 12 до 17. Отдельно автор показывает разрыв в обработке входящего контекста: у RTX 4090 около 3000 токенов в секунду, а у M5 Max — 800, и напоминает, что модели с mixture of experts теперь загружаются целиком, но считают только активную часть параметров, поэтому требуют много памяти, но меньше пропускной способности. В покупке он предлагает лестницу: от Mac Studio M5 Ultra с 1,2 ТБ/с и до 512 ГБ памяти до бюджетных вариантов вроде RTX 5060 Ti или Intel Arc B580, а самой выгодной покупкой называет б/у RTX 3090 с 24 ГБ VRAM и 936 ГБ/с.

Практика

Что получишь
Поймёте, как объём и пропускная способность памяти влияют на скорость, научитесь заранее оценивать токены в секунду по модели и железу, и получите ориентиры от б/у RTX 3090 до Mac Studio M5 Ultra с ценами и ограничениями.
Первый шаг
Определите модель и её размер в 4-битной квантизации, затем посчитайте потолок скорости по формуле «пропускная способность памяти, делённая на размер модели» и сверьтесь с бенчмарками Context Studio.
Цифры
  • —614 ГБ/с — пропускная способность памяти у MacBook Pro M5 Max; формула даёт потолок 36 токенов в секунду, реальный бенчмарк — 31,4
  • —75 токенов в секунду — скорость RTX 5090 на модели Qwen 3 27B без оптимизаций против 46 у RTX 4090 и 40 у RTX 3090
  • —3000 токенов в секунду — скорость обработки входящего контекста у RTX 4090 против 800 у M5 Max
  • —1,2 ТБ/с и до 512 ГБ unified memory — характеристики Mac Studio M5 Ultra, который автор называет топом для локального AI
Честно
Ролик содержит рекламную интеграцию Memocat (код в описании), но на содержание гайда это не влияет. Автор не даёт одну конкретную рекомендацию, а показывает лестницу вариантов и сам оговаривает, что цены зависят от недели, региона и конфигурации; часть цифр — из его личного опыта, а бенчмарки взяты из гайда Context Studio по ссылке в описании. Для точного выбора всё равно нужно смотреть бенчмарк нужной модели, потому что в пересказе не указаны все конфигурации и оптимизации.
Если слова незнакомы — 6 терминов

Компоненты

6 шт.

Формат: разбор · для практикующих · уверенность разметки 0.9 · источник