70 млрд параметров на карте за 4 ГБ — и 292 с на токен

Что в ролике
Соблазн запустить большую модель на дешёвой карте выглядит рабочим: библиотека AirLLM показывает 70 млрд параметров на 4 ГБ видеопамяти, тогда как обычно такому размеру нужно около 140 ГБ, то есть две серверные карты. Фокус в том, что на карте всегда лежит только один слой: у 70-миллиардной модели их 80, каждый около 1,75 ГБ, а остальные 79 слоёв остаются на диске и подгружаются по одному во время генерации. Требование к железу не исчезает, а переезжает в накопитель: чекпойнт Kimi K3 весит 1,5 ТБ, и наивная разбивка на слои потребует 3,12 ТБ свободного места, а у 32-миллиардной модели из сообщества шарды заняли 62 ГБ. Плата за это — скорость: на карте RTX 6000 Ada пиковая память при генерации 2,8-триллионной Kimi K3 составила заявленные 3,72 ГБ, а скорость — 292 секунды на токен, то есть почти пять минут на одно слово, и мейнтейнер сам помечает её как ограниченную диском. Меньшая модель не помогает: 32-миллиардная Qwen на карте GB10 дала 13,3 секунды на токен без сжатия, а 3-миллиардная на RTX 5060 Ti — 28,6 секунды, вдвое медленнее модели в десять раз больше. Обещанное сжатие работает наоборот: переход на 8 бит поднял время до 50,5 секунды на токен, на 4 бита — до 106,7, хотя с диска читается меньше данных, потому что распаковка весов на карте и отключённая предзагрузка съедают весь выигрыш. Проверка с отключённым стримингом на карте 8 ГБ показала цену движка: модель на 1,5 млрд параметров шла 0,1 токена в секунду со стримингом и 32,2 токена в секунду без него, то есть в 322 раза быстрее. В таблице на главной странице репозитория всего три колонки — модель, размер и видеопамять, — и колонки времени там нет; аудит с требованием воспроизводимых бенчмарков открыт с июня, а единственный тестовый прогон на процессоре так и не попал в основную ветку.
Практика
- Что получишь
- Поймёшь, что 4 ГБ видеопамяти — ответ на вопрос «заведётся ли модель вообще», а не «за сколько она ответит», и сможешь заранее прикинуть, влезет ли задача в такое ожидание.
- Первый шаг
- Прежде чем ставить AirLLM, посчитать свободное место под шарды слоёв и решить, готов ли ты ждать минуты на один токен — по описанию библиотеки это её штатный режим.
- Цифры
- —4 ГБ против 140 ГБ — столько видеопамяти требуют 70 млрд параметров в режиме стриминга и в обычном режиме
- —292 секунды на токен (почти 5 минут) — скорость 2,8-триллионной Kimi K3 при пиковой памяти 3,72 ГБ
- —13,3 против 106,7 секунды на токен — столько дал один и тот же 32-миллиардный Qwen без сжатия и с 4-битным сжатием
- —в 322 раза — настолько быстрее шла модель на 1,5 млрд параметров с выключенным стримингом: 32,2 токена в секунду против 0,1
- Честно
- Своих замеров у автора нет: все цифры взяты из release notes версии 3.1, баг-репортов на GitHub и обсуждения на Hacker News, а карта в ролике не запускается. В таблице на главной странице репозитория колонки времени нет вообще, поэтому быстрая цифра памяти и медленная цифра скорости живут в разных местах. Часть доказательств слабая: единственный связанный пример для 405-миллиардной модели — ноутбук без выводов и таймингов, а сама модель там уже сжата до четырёх бит, что противоречит обещанию честного стриминга. Ролик ничего не рекламирует, но инструкции по установке в нём тоже нет.
Если слова незнакомы — 7 терминов
- видеопамять (VRAM)память на самой видеокарте; если модель в неё не влезает, её приходится возить с диска
- слойчасть модели, которая обрабатывает данные по очереди; у 70-миллиардной модели таких слоёв 80
- стриминг слоёврежим, при котором слои по одному подгружаются с диска на карту и сразу освобождаются
- чекпойнтфайл с весами готовой модели, который скачивают и запускают
- шардкусок чекпойнта; библиотека режет модель на отдельные файлы-слои на диске
- токенкусочек текста, которым модель считает и вход, и выход; здесь скорость считают в секундах на токен
- предзагрузка (pre-fetch)фоновая подкачка следующего слоя, пока считается текущий; при сжатии библиотека её отключает
Связки из этого ролика
5 шт.- AirLLM + Kimi K3 на 2.8 трлн параметров — запуск гигантской MoE-модели на карте с 4 ГБ за счёт поочерёдной загрузки слоёв с диска
- AirLLM + предзагрузка следующего слоя фоновым потоком — конвейер «прочитать шард, поднять в память, скопировать на карту, освободить» на каждый токен
- AirLLM + 4-битное сжатие — обещанное ускорение обернулось замедлением в 8 раз: 106.7 с на токен против 13.3 с без сжатия из-за распаковки весов и отключённой предзагрузки
- AirLLM + RTX 6000 Ada 48 ГБ — 3.72 ГБ пиковой памяти на генерации при скорости 292 секунды на токен
- AirLLM с выключенным стримингом на карте 8 ГБ — 32.2 токена в секунду против 0.1 при стриминге, но только если модель целиком помещается в память
Компоненты
8 шт.Формат: разбор · для практикующих · уверенность разметки 0.8 · источник