AirLLM
1
авторов
1
видео
1
выпусков
2026-09-18
первое упоминание
понять, как устроено · 1
Кто использует
1 авторов- The Stack1 видео
Ставят рядом
частота совместных упоминанийСвязки с этим компонентом
5 шт.AirLLM + Kimi K3 на 2.8 трлн параметров — запуск гигантской MoE-модели на карте с 4 ГБ за счёт поочерёдной загрузки слоёв с диска
AirLLM + предзагрузка следующего слоя фоновым потоком — конвейер «прочитать шард, поднять в память, скопировать на карту, освободить» на каждый токен
AirLLM + 4-битное сжатие — обещанное ускорение обернулось замедлением в 8 раз: 106.7 с на токен против 13.3 с без сжатия из-за распаковки весов и отключённой пр
AirLLM + RTX 6000 Ada 48 ГБ — 3.72 ГБ пиковой памяти на генерации при скорости 292 секунды на токен
AirLLM с выключенным стримингом на карте 8 ГБ — 32.2 токена в секунду против 0.1 при стриминге, но только если модель целиком помещается в память
Где упоминается
- A Tiny Graphics Card Runs A Giant AI ModelThe Stack · 18 сентября 2026