К содержимому
Дайджест

Как устроена CUDA: память, потоки и экосистема

Caleb Writes Code·30 октября 2026·13:04
текст даёт основное понять, как устроено промо
Открыть на YouTube
Разбор устройства CUDA и иерархии памяти GPU для тех, кто хочет понять, как видеокарта параллелит вычисления и почему CUDA стала платформой.

Что в ролике

Если вы запускали модель локально, веса сначала лежат на SSD, а потом движок на CPU тянет их в HBM видеокарты — и внутри GPU такой же каскад памяти: 80 ГБ HBM, 50 МБ L2, 256 КБ регистров и 228 КБ общей памяти. На примере матричного умножения на 100 млн операций автор показывает, как работа делится на 132 потоковых мультипроцессора (SM), каждый на 4 варпа по 32 потока, и при тактовой частоте 1,5 ГГц это теоретически укладывается в 2 микросекунды. CUDA здесь — место встречи железа и софта: тысячи потоков конкурируют за общую память, поэтому под разные задачи пишут сотни и тысячи разных ядер, от cuBLAS для линейной алгебры до cuDNN для глубокого обучения. Затем автор расширяет картину: CUDA — не просто библиотека, а платформа с компилятором в промежуточный PTX, рантаймом и драйвером, что позволяет переносить код между поколениями Nvidia GPU. Отдельно упоминаются надстройки вроде Triton от OpenAI и FlashAttention, которые работают поверх CUDA, но не входят в ядро. В конце Стивен Джонс, работающий с CUDA с 2008 года, объясняет, почему Nvidia постоянно наблюдает за индустрией и забирает в ядро то, что повторяется у разных групп разработчиков.

Практика

Что получишь
Понимание иерархии памяти GPU и того, как CUDA связывает железо и софт, чтобы осознанно выбирать или писать ядра под свои задачи.
Первый шаг
Вернуться к разбору матричного умножения в ролике и повторить расчёт: 100 млн операций делятся на 132 SM, 4 варпа и 32 потока.
Цифры
  • —100 млн операций — размер одного матричного умножения, которое GPU теоретически выполняет за 2 микросекунды
  • —132 SM и 4 варпа по 32 потока — на столько параллельных блоков автор делит работу
  • —80 ГБ HBM, 50 МБ L2 и 256 КБ регистров — каскад памяти, который сужается по мере приближения к потоку
  • —1,5 ГГц — тактовая частота GPU, при которой 3000 циклов дают примерно 2 микросекунды
Честно
Ролик спонсирует Tripo: сегмент про Charakru и автоматизацию 3D-персонажей в Blender — это реклама, автор даёт партнёрскую ссылку с 500 бонусными кредитами и скидкой 60% на первый месяц планов Pro/Max. Основная часть про CUDA не рекламная, но конкретные команды и код в ролике не показаны, а полное интервью со Стивеном Джонсом выйдет отдельным видео.
Если слова незнакомы — 9 терминов

Компоненты

9 шт.

Формат: разбор · для новичков · уверенность разметки 0.85 · источник