Считаем реальную цену домашнего запуска 1 ТБ ИИ-модели

Что в ролике
Автор едва не купил два Mac Studio M5 Ultra за 44 598 долларов, чтобы запускать терабайтные открытые модели, но решил посчитать реальную цену. В видео разбираются три модели: Meta Muse Spark Open (816 млрд параметров, 42 млрд активных, загрузка 1 644 ГБ), Mistral Large 4 (около 1 трлн параметров, 52 млрд активных, 1 060 ГБ) и Moonshot Kimi K 3.1 Pro (2,78 трлн параметров, 104 млрд активных, 1 561 ГБ уже в сжатом MXFP4). Архитектура mixture of experts требует держать все веса в быстрой памяти, поэтому для Kimi нужно минимум четыре Mac Studio за 89 196 долларов, а для Muse Spark Open — два за 44 598 долларов, как рекомендует Meta. Apple измерила скорость Muse Spark Open на двух Mac: 24,99 токена в секунду при записи и 8,2 секунды до первого токена при промпте 8 000 токенов. Если гонять железо круглосуточно три года, локальная цена выходных токенов Muse Spark Open составит 20,40 доллара за миллион против 4,25 доллара у облачных провайдеров, то есть в 4,8 раза дороже аренды. Средняя задача по бенчмарку Artificial Analysis на 58 000 выходных токенов занимает дома 38 минут против 5 минут в облаке, а для окупаемости нужно 22 078 таких задач без остановки. Для Kimi K 3.1 Pro локальная цена оценивается в 68 долларов за миллион против 10 долларов аренды, а задача на 72 000 токенов займёт 80 минут, при этом не опубликовано ни одного независимого замера скорости.
Практика
- Что получишь
- Поймёте, почему покупка терабайтного локального железа почти всегда дороже облачной аренды, даже при полной загрузке, и сможете посчитать окупаемость для своей задачи.
- Первый шаг
- Сначала арендуйте интересующую модель на месяц и посмотрите фактический счёт за токены, а потом разделите цену железа на этот месячный чек.
- Цифры
- —44 598 долларов — столько стоят два Mac Studio M5 Ultra 512 ГБ, которые Meta рекомендует для Muse Spark Open
- —4,8 раза — во столько раз локальный токен Muse Spark Open дороже облачного при круглосуточной работе три года
- —38 минут против 5 минут — время выполнения средней задачи на 58 000 токенов дома и в облаке
- —89 196 долларов — минимальная цена четырёх Mac Studio для запуска Kimi K 3.1 Pro
- Честно
- Автор не продвигает свой продукт или курс, спонсоров и партнёрских ссылок в видео нет, только просьба поставить лайк. Важные числа (скорость Kimi на четырёх Mac Studio, окупаемость TinyBox Red) являются оценками или заявлениями производителя, а не независимыми замерами. Формулы и таблицы показаны на экране, в пересказе приведены только итоговые цифры.
Если слова незнакомы — 5 терминов
- mixture of expertsархитектура модели, где для каждого токена работает лишь небольшая группа специализированных подсетей, а остальные веса ждут в памяти
- токенминимальная единица текста, которую модель читает или пишет
- активные параметрычасть весов модели, которые реально участвуют в вычислении одного токена
- MXFP4формат сжатия весов до 4 бит, уменьшающий размер модели без полной потери точности
- промптвходной текст, который вы даёте модели
Связки из этого ролика
6 шт.- two Mac Studio M5 Ultra
- eight DGX Spark cluster
- DDR4 server RAM
- SSD streaming
- TinyBox Red Kimi
- aggressive quantization
Компоненты
13 шт.Формат: разбор · для практикующих · уверенность разметки 0.85 · источник