К содержимому
Дайджест

35B-модель на 3 ГБ памяти: чем за это платишь

The Stack·17 сентября 2026·17:24
можно прочитать выбрать инструмент
Открыть на YouTube
Разбор открытого фреймворка Edge Zero, который запускает модель на 35 миллиардов параметров на ноутбуке за счёт потоковой подгрузки весов с диска, — для тех, кто выбирает железо под локальные модели.

Что в ролике

Хочется запустить модель на 35 миллиардов параметров, а оперативной памяти в машине в десять раз меньше, чем весит файл модели. Автор разбирает Edge Zero — открытый фреймворк, который держит на диске экспертные веса смеси экспертов и подгружает их по ходу генерации: 92,9% веса чекпоинта (16,88 ГБ) остаются файлом, а в памяти живут только эмбеддинги, внимание, роутеры и выходная голова общим размером 1,294 ГБ, причём веса лежат в формате safetensors с оглавлением в начале файла, так что состав модели видно, не скачивая её целиком. Заявленные 2,9 ГБ памяти и около 15 токенов в секунду измерены на Mac mini с 24 ГБ, и здесь кроется главная оговорка: операционная система получает примерно 20 ГБ свободной памяти и кэширует в них ровно те веса, которые фреймворк «держит на диске». Арифметика честная, но платить приходится не памятью, а пропускной способностью диска: на каждое слово модель запрашивает по четыре эксперта в каждом из 40 слоёв, то есть 160 обращений и около 270 МБ чтения на слово, а при 15 словах в секунду это почти 4 ГБ в секунду непрерывно. Ещё одна деталь: базовая модель Qwen 35B A3B от Alibaba обучена включать восемь экспертов на токен, и это число записано в конфиге чекпоинта, но пресет стриминга ставит четыре — половину советников у модели просто отключили, и именно на этом держится вся экономия. Чтобы отыграть потери, авторы сжали экспертов квантизацией до четырёх бит и добавили LoRA-адаптеры, обученные на несжатой модели: по пяти тестам сжатый вариант набирает 79,2 против 83,2 у несжатого, разрыв 3,9 балла, а скорость подняли 33 головы предсказания маршрутизации, которые угадывают следующий слой на слово раньше. На машине без запаса памяти схема разваливается: разработчик запустил 8-миллиардную модель на MacBook с 8 ГБ и получил от 0,66 до 0,81 токена в секунду вместо обещанных 24–25, при этом расход памяти совпал с документацией, а обычная плотная модель в том же сеансе дала 11,38 токена в секунду. Наконец, карточка модели сама называет релиз предварительным и пишет, что модель ещё не оптимизирована под агентные задачи, а в багтрекере уже есть отчёт о бессмысленном тексте на MacBook с чипом A18 Pro, который вылечили привязкой версии MLX.

Практика

Что получишь
Понимание, из чего складывается заявленный расход памяти у стримингового запуска моделей и где предел этой схемы. Сможете заранее прикинуть, потянет ли ваша машина такую модель и что станет узким местом — диск, память или сама модель.
Первый шаг
Проверить по карточке модели и конфигу чекпоинта, сколько весят неэкспертные веса и какая ширина маршрутизации реально включена, прежде чем скачивать десятки гигабайт.
Цифры
  • —2,9 ГБ — столько оперативной памяти занимает процесс Edge Zero при модели весом около 23 ГБ на диске
  • —92,9% — доля экспертных весов в чекпоинте (16,88 ГБ), которые остаются на диске и не грузятся целиком
  • —0,66–0,81 токена в секунду — реальная скорость 8-миллиардной модели на MacBook с 8 ГБ против обещанных 24–25
  • —4 ГБ в секунду — столько придётся непрерывно читать с диска, чтобы выдавать 15 слов в секунду
Честно
Автор ничего не продаёт и не рекламирует: это разбор стороннего проекта по его карточке, конфигам и багтрекеру. Команд установки и запуска в ролике нет — воспроизвести шаги по пересказу невозможно. Часть цифр (кэш экспертов, головы предсказания, стоимость в гигабайтах на слово) посчитана самим автором из документации фреймворка, а не измерена независимо.
Если слова незнакомы — 7 терминов

Связки из этого ролика

5 шт.

Компоненты

10 шт.

Формат: обзор · для практикующих · уверенность разметки 0.85 · источник