
CUDA 编程入门:从语法到 GPU 硬件架构
来源标题:Introduction to CUDA Beyond the Syntax
一篇技术文章介绍 NVIDIA CUDA 编程模型如何映射到 GPU 硬件架构。文章指出 GPU 擅长并行执行大量简单运算,适合矩阵乘法等数值计算,并提到 NVIDIA 的 cuBLAS 库提供高度优化的线性代数运算实现,随后从内存机制切入讲解。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
图形处理器(GPU)是一种专用的硅芯片,旨在加速图形渲染、AI 训练与推理,以及大量数学计算。其核心优势在于能够并行执行数千项操作,从而让那些能够利用并行性的应用获得显著更快的计算速度。
与针对通用计算、复杂分支和顺序逻辑进行优化的 CPU 不同,GPU 专为同时处理大量相对简单的操作而设计。这使得它在具有高度并行性的工作负载上尤为高效,例如矩阵乘法、向量运算以及其他形式的数值计算。
为了利用这些能力,人们为 GPU 开发了多种专用软件库。NVIDIA 的 cuBLAS 就是其中一个例子,它为基础线性代数运算提供了高度优化的实现。
本文将探讨 NVIDIA CUDA 编程模型的架构。我们将重点关注使用 CUDA 编程如何映射到硬件。
首先,让我们理解程序在 CPU 上执行时内存是如何工作的。
当程序开始执行时,操作系统会为它提供一个虚拟地址空间。每个进程都感觉自己拥有一个连续的独立内存空间,可以在其中存储变量、指令和其他运行时数据。例如,一个程序可能通过从 0x00000 到 0xFFFFF 的虚拟地址访问内存。
然而,这些虚拟地址并不一定对应物理 RAM 中的连续位置。实际上,操作系统将虚拟内存划分为称为页(page)的固定大小块,通常为 4 KB。物理 RAM 被划分为称为帧(frame)的对应块。页可以映射到位于物理内存中任意位置的帧。
每当程序访问一个虚拟地址时,内存管理单元(MMU)会使用操作系统维护的页表将其转换为物理地址。这种转换通常缓存在转译后备缓冲器(TLB)中,以避免反复遍历页表。
如果程序访问的页当前未映射到物理内存,就可能触发缺页异常(page fault)。随后由操作系统处理该异常。根据具体情况,这可能涉及分配一个物理帧、从磁盘加载所需的页(如果它已被换出),或者只是建立映射。同样,当需要回收内存页时,被修改过的页可能会在必要时写回磁盘。
页表
CUDA 与内存映射
GPU 拥有自己的物理内存,类似于 CPU 的 RAM,称为全局内存(Global Memory)。当在 GPU 上运行的程序需要访问数据时,其虚拟地址必须转换为 GPU 内存中的物理位置。
为此,CUDA 和底层 GPU 驱动程序管理内存映射,使 GPU 虚拟地址能够解析到适当的物理内存位置。
一些系统还支持称为统一内存(Unified Memory)的特性,它为 CPU 和 GPU 提供共享的虚拟地址空间。这使得两个处理器可以访问相同的内存分配,而无需程序员显式管理独立的 CPU 和 GPU 指针。然而,共享虚拟地址空间并不一定意味着共享相同的物理内存或页表。
根据硬件和操作系统的不同,内存一致性的实现方式也可能不同。在软件一致性系统中,软件和驱动程序协调 CPU 与 GPU 之间的内存映射和数据迁移。在硬件一致性系统中,硬件机制提供处理器之间的一致性,可能允许它们共享页表并维护一致的内存视图。
还有一个重要限制:GPU 映射的内存并不总能像普通系统内存那样自由地换出到磁盘。例如,涉及活动 GPU 操作或内存传输的页必须在这些操作期间保持驻留并可访问。操作系统和 CUDA 驱动程序协调内存驻留,以防止页在 GPU 正在主动访问时被回收或迁移。
不过从外部来看,你只需要做以下事情:
// main.cu -> cu: CUDA extension for C/C++ // compile -> nvcc main.cu -O3 -o main // Run -> ./main #include <stdio.h> #include <stdlib.h> int main() { void *cpu_page = malloc(4 * 1024); // 4KB Memory mapped to the CPU void *gpu_page; cudaMalloc(&gpu_page, 4 * 1024); // 4KB page mapped to the GPU Global Memory return 0;
现在,我们有了一个映射到 GPU 全局内存中某个页的内存地址。写入该地址的任何数据最终都会存储在该虚拟地址所解析到的物理 GPU 内存位置。
然而,与 malloc() 在 CPU 上分配内存时的行为类似,分配 GPU 内存并不一定会用任何有意义的数据初始化它。此时,gpu_page 可能包含未初始化的值。
要用实际数据填充这块内存,我们可以使用 CUDA 的 cudaMemcpy() 函数。它允许我们在不同内存位置之间传输数据,例如 CPU 主机内存和 GPU 全局内存。
#include <stdio.h> #include <stdlib.h> int main() { int *cpu_page = (int *)malloc(4 * 1024); // 4KB Memory mapped to the CPU void *gpu_page; cudaMalloc(&gpu_page, 4 * 1024); // 4KB page mapped to the GPU Global Memory // Write some data to a CPU chunk. for(int i=0; i < 1024; i++) { cpu_page[i] = i * 3; // int is 4 bytes, so 1024 ints = 4KB // Transfer the CPU chunk. cudaMemcpy( gpu_page, // *dst cpu_page, // *src 4 * 1024, // copy 4KB cudaMemcpyHostToDevice // copy CPU (host) to GPU (device). ); // You can also copy the data in the other direction via cudaMemcpyDeviceToHost. // Now data is GPU resident. // Use it. // Then free the GPU Memory cudaFree(gpu_page); // Free CPU memory
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。