Mistral Large 4 дома: 600 ГБ памяти и $28 000

Что в ролике
Mistral анонсировала Large 4 (Lechon) — mixture of experts на 1,05 трлн параметров, веса обещают выложить к 31 октября после ред-тиминга, а пока скачать нечего. 4-битная копия по прикидке автора займёт 550–600 ГБ быстрой памяти, больше максимума Mac Studio (512 ГБ), поэтому нужны несколько связанных Mac или сервер, минимальная оценка — около $28 000 за три M5 Ultra по 256 ГБ. Такая связка даст лишь teens токенов в секунду: ближайший аналог Kimi K2 thinking на двух M3 Ultra через Thunderbolt 5 выдавал 21,6 токена/с, а Large 4 читает на 60% больше параметров на токен. Модель ещё и многоречива — по замеру Artificial Analysis она сгенерировала 200 млн токенов против медианы 85 млн, и ответ на 30 000 токенов при 15 токенах/с занял бы больше трёх минут. По индексу Artificial Analysis превью набирает 38 баллов и после публикации весов стало бы лишь восьмой среди открытых моделей, уступая семи китайским, которые можно скачать уже сейчас. Например, MIMO v2.6 Pro с 1,02 трлн параметров занимает те же 554 ГБ в 4 битах и набирает 46, а Qwen 3.8 Flash Next на 125 млрд параметров помещается в 111 ГБ и набирает около 40. Сильные стороны Large 4 — сильнейшая открытая модель вне Китая (ближайший конкурент Motif с 34 баллами) и кибербезопасность: в энд-ту-энд тесте на поиск и патч уязвимости она набрала 82%, обойдя MIMO и GPT6 Luna. Но до запуска не хватает лицензии (может быть ограничение для компаний с выручкой свыше $20 млн/мес), поддержки в llama.cpp/MLX и финальных бенчмарков, поэтому автор советует сначала потратить пару долларов на API.
Практика
- Что получишь
- Понять, сколько памяти и денег реально нужно для локального запуска Mistral Large 4, сравнить её с доступными открытыми моделями и решить, стоит ли ждать 31 октября или продолжать использовать текущую локальную модель.
- Первый шаг
- Завести аккаунт Mistral, дождаться доступа к API и прогнать свои типовые промпты, чтобы оценить качество до покупки железа.
- Цифры
- —550–600 ГБ — столько быстрой памяти нужно для 4-битной копии Mistral Large 4 по оценке автора
- —$28 000 — минимальная стоимость связки из трёх Mac Studio M5 Ultra по 256 ГБ, способной вместить модель
- —21,6 токена в секунду — скорость Kimi K2 thinking на двух M3 Ultra; Large 4 будет заметно медленнее из-за 50 млрд активных параметров на токен
- —38 баллов — индекс интеллекта Artificial Analysis у превью Large 4; после выхода весов это лишь восьмое место среди открытых моделей
- Честно
- Автор продвигает платное сообщество The Stack и подписку, но сам ролик — аналитика по открытым данным, без скрытой рекламы железа. Модель ещё не выложена, поэтому все цифры по памяти и скорости — оценки автора на основе аналогов, а не замеры Large 4; цены на Mac Studio 512 ГБ ещё не объявлены. Для повторения в ролике нет инструкций — только сравнение и рекомендация сначала тестировать API.
Если слова незнакомы — 4 терминов
- mixture of expertsархитектура модели, где работают несколько экспертов-подсетей, но на каждый токен активируются лишь некоторые из них
- токенминимальная единица текста, которую модель читает или генерирует
- 4-битная квантизациясжатие весов модели до 4 бит на параметр, чтобы уменьшить требуемую память
- APIпрограммный интерфейс для отправки запросов к облачной модели
Связки из этого ролика
4 шт.- Linked Mac Studios + Exo + Thunderbolt 5
- K Transformers + CPU + GPU
- 8x RTX Pro 6000 server
- Nvidia DGX Station
Компоненты
5 шт.Формат: обзор · для продвинутых · уверенность разметки 0.9 · источник