К содержимому
Дайджест

70 млрд параметров на карте за 4 ГБ — и 292 с на токен

The Stack·18 сентября 2026·19:18
можно прочитать понять, как устроено
Открыть на YouTube
Разбор для тех, кто присматривается к запуску больших моделей на своём железе: как библиотека AirLLM умещает модель в 4 ГБ видеопамяти и чем за это приходится платить.

Что в ролике

Соблазн запустить большую модель на дешёвой карте выглядит рабочим: библиотека AirLLM показывает 70 млрд параметров на 4 ГБ видеопамяти, тогда как обычно такому размеру нужно около 140 ГБ, то есть две серверные карты. Фокус в том, что на карте всегда лежит только один слой: у 70-миллиардной модели их 80, каждый около 1,75 ГБ, а остальные 79 слоёв остаются на диске и подгружаются по одному во время генерации. Требование к железу не исчезает, а переезжает в накопитель: чекпойнт Kimi K3 весит 1,5 ТБ, и наивная разбивка на слои потребует 3,12 ТБ свободного места, а у 32-миллиардной модели из сообщества шарды заняли 62 ГБ. Плата за это — скорость: на карте RTX 6000 Ada пиковая память при генерации 2,8-триллионной Kimi K3 составила заявленные 3,72 ГБ, а скорость — 292 секунды на токен, то есть почти пять минут на одно слово, и мейнтейнер сам помечает её как ограниченную диском. Меньшая модель не помогает: 32-миллиардная Qwen на карте GB10 дала 13,3 секунды на токен без сжатия, а 3-миллиардная на RTX 5060 Ti — 28,6 секунды, вдвое медленнее модели в десять раз больше. Обещанное сжатие работает наоборот: переход на 8 бит поднял время до 50,5 секунды на токен, на 4 бита — до 106,7, хотя с диска читается меньше данных, потому что распаковка весов на карте и отключённая предзагрузка съедают весь выигрыш. Проверка с отключённым стримингом на карте 8 ГБ показала цену движка: модель на 1,5 млрд параметров шла 0,1 токена в секунду со стримингом и 32,2 токена в секунду без него, то есть в 322 раза быстрее. В таблице на главной странице репозитория всего три колонки — модель, размер и видеопамять, — и колонки времени там нет; аудит с требованием воспроизводимых бенчмарков открыт с июня, а единственный тестовый прогон на процессоре так и не попал в основную ветку.

Практика

Что получишь
Поймёшь, что 4 ГБ видеопамяти — ответ на вопрос «заведётся ли модель вообще», а не «за сколько она ответит», и сможешь заранее прикинуть, влезет ли задача в такое ожидание.
Первый шаг
Прежде чем ставить AirLLM, посчитать свободное место под шарды слоёв и решить, готов ли ты ждать минуты на один токен — по описанию библиотеки это её штатный режим.
Цифры
  • —4 ГБ против 140 ГБ — столько видеопамяти требуют 70 млрд параметров в режиме стриминга и в обычном режиме
  • —292 секунды на токен (почти 5 минут) — скорость 2,8-триллионной Kimi K3 при пиковой памяти 3,72 ГБ
  • —13,3 против 106,7 секунды на токен — столько дал один и тот же 32-миллиардный Qwen без сжатия и с 4-битным сжатием
  • —в 322 раза — настолько быстрее шла модель на 1,5 млрд параметров с выключенным стримингом: 32,2 токена в секунду против 0,1
Честно
Своих замеров у автора нет: все цифры взяты из release notes версии 3.1, баг-репортов на GitHub и обсуждения на Hacker News, а карта в ролике не запускается. В таблице на главной странице репозитория колонки времени нет вообще, поэтому быстрая цифра памяти и медленная цифра скорости живут в разных местах. Часть доказательств слабая: единственный связанный пример для 405-миллиардной модели — ноутбук без выводов и таймингов, а сама модель там уже сжата до четырёх бит, что противоречит обещанию честного стриминга. Ролик ничего не рекламирует, но инструкции по установке в нём тоже нет.
Если слова незнакомы — 7 терминов

Связки из этого ролика

5 шт.

Компоненты

8 шт.

Формат: разбор · для практикующих · уверенность разметки 0.8 · источник