35B-модель на 3 ГБ памяти: чем за это платишь

Что в ролике
Хочется запустить модель на 35 миллиардов параметров, а оперативной памяти в машине в десять раз меньше, чем весит файл модели. Автор разбирает Edge Zero — открытый фреймворк, который держит на диске экспертные веса смеси экспертов и подгружает их по ходу генерации: 92,9% веса чекпоинта (16,88 ГБ) остаются файлом, а в памяти живут только эмбеддинги, внимание, роутеры и выходная голова общим размером 1,294 ГБ, причём веса лежат в формате safetensors с оглавлением в начале файла, так что состав модели видно, не скачивая её целиком. Заявленные 2,9 ГБ памяти и около 15 токенов в секунду измерены на Mac mini с 24 ГБ, и здесь кроется главная оговорка: операционная система получает примерно 20 ГБ свободной памяти и кэширует в них ровно те веса, которые фреймворк «держит на диске». Арифметика честная, но платить приходится не памятью, а пропускной способностью диска: на каждое слово модель запрашивает по четыре эксперта в каждом из 40 слоёв, то есть 160 обращений и около 270 МБ чтения на слово, а при 15 словах в секунду это почти 4 ГБ в секунду непрерывно. Ещё одна деталь: базовая модель Qwen 35B A3B от Alibaba обучена включать восемь экспертов на токен, и это число записано в конфиге чекпоинта, но пресет стриминга ставит четыре — половину советников у модели просто отключили, и именно на этом держится вся экономия. Чтобы отыграть потери, авторы сжали экспертов квантизацией до четырёх бит и добавили LoRA-адаптеры, обученные на несжатой модели: по пяти тестам сжатый вариант набирает 79,2 против 83,2 у несжатого, разрыв 3,9 балла, а скорость подняли 33 головы предсказания маршрутизации, которые угадывают следующий слой на слово раньше. На машине без запаса памяти схема разваливается: разработчик запустил 8-миллиардную модель на MacBook с 8 ГБ и получил от 0,66 до 0,81 токена в секунду вместо обещанных 24–25, при этом расход памяти совпал с документацией, а обычная плотная модель в том же сеансе дала 11,38 токена в секунду. Наконец, карточка модели сама называет релиз предварительным и пишет, что модель ещё не оптимизирована под агентные задачи, а в багтрекере уже есть отчёт о бессмысленном тексте на MacBook с чипом A18 Pro, который вылечили привязкой версии MLX.
Практика
- Что получишь
- Понимание, из чего складывается заявленный расход памяти у стримингового запуска моделей и где предел этой схемы. Сможете заранее прикинуть, потянет ли ваша машина такую модель и что станет узким местом — диск, память или сама модель.
- Первый шаг
- Проверить по карточке модели и конфигу чекпоинта, сколько весят неэкспертные веса и какая ширина маршрутизации реально включена, прежде чем скачивать десятки гигабайт.
- Цифры
- —2,9 ГБ — столько оперативной памяти занимает процесс Edge Zero при модели весом около 23 ГБ на диске
- —92,9% — доля экспертных весов в чекпоинте (16,88 ГБ), которые остаются на диске и не грузятся целиком
- —0,66–0,81 токена в секунду — реальная скорость 8-миллиардной модели на MacBook с 8 ГБ против обещанных 24–25
- —4 ГБ в секунду — столько придётся непрерывно читать с диска, чтобы выдавать 15 слов в секунду
- Честно
- Автор ничего не продаёт и не рекламирует: это разбор стороннего проекта по его карточке, конфигам и багтрекеру. Команд установки и запуска в ролике нет — воспроизвести шаги по пересказу невозможно. Часть цифр (кэш экспертов, головы предсказания, стоимость в гигабайтах на слово) посчитана самим автором из документации фреймворка, а не измерена независимо.
Если слова незнакомы — 7 терминов
- смесь экспертовархитектура, где на каждый токен работает лишь часть блоков модели, а не все сразу
- чекпоинтфайл с весами обученной модели, который скачивают и запускают
- safetensorsформат файла весов с оглавлением в начале, по которому видно состав модели без полной загрузки
- квантизациясжатие весов до меньшего числа бит, из-за которого модель теряет в качестве
- LoRA-адаптернебольшой набор весов, который дообучает модель и подключается к ней отдельно
- MLXбиблиотека Apple для запуска моделей на её собственных чипах
- токенединица текста, которой измеряют скорость генерации и объём контекста
Связки из этого ролика
5 шт.- Edge Zero + safetensors — оглавление чекпоинта читается парой килобайт, без скачивания всего файла
- Edge Zero + LoRA-адаптеры — несколько наборов адаптеров поверх одной read-only копии базовых весов
- Edge Zero + MLX — стриминг MoE-весов с диска, где версия MLX 0.30.6 критична для Apple-чипов
- Edge Zero + Qwen 3.6 35B A3B — запуск 35B MoE при 2,9 ГБ активной памяти и 15 ток/с при прогретом page cache
- Edge Zero + prediction heads — предсказание маршрутизации следующего слоя на слово раньше, чтобы грузить веса параллельно с GPU
Компоненты
10 шт.Формат: обзор · для практикующих · уверенность разметки 0.85 · источник