
Weft 工具可将 Metal、PTX 和 Triton 内核转译为 C++ 在 CPU 上运行
来源标题:Weft – Metal, PTX, Triton, and More on CPU
Weft 能把 GPU 计算内核直接翻译成 C++ 在 CPU 上执行,而不是重写算法。它支持 Metal Shading Language、PTX、Triton 和 SPIR-V 四种前端,既可通过命令行对比 GPU 与 CPU 运行结果,也可经 weft-gen 生成翻译单元链接进自己的程序。不过部分 PTX 高级特性(如 mbarrier、张量映射拷贝)在 Metal 和 SPIR-V 前端并不支持。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
在 CPU 上运行 GPU 计算内核。不是算法的另一种实现:而是同一个内核,翻译成 C++。四个前端:Metal Shading Language、PTX、Triton(@triton.jit 内核生成的 PTX,包括 tl.dot),以及 SPIR-V(OpenCL 内核模块)。两种使用方式:CLI,它会在 GPU 和 CPU 上分别运行一个内核并对比结果;以及 weft-gen 加 include/weft/weft.h,后者把内核变成一个翻译单元,供你链接进自己的程序。
Metal PTX SPIR-V 缓冲区、标量参数、向量类型 是 是 是 threadgroup / .shared 内存、屏障 是 是 是 mbarrier:到达、阶段、预期字节数 否 init、arrive、expect_tx、奇偶等待 否 批量拷贝:拷入 threadgroup、拷回、归约拷入 否 cp.async.bulk、cp.reduce.async.bulk 否 预取与丢弃 否 prefetch、prefetchu、discard 否 张量映射拷贝:按布局张量的一个盒,拷入和拷出 否 cp.async.bulk.tensor,1 维到 5 维 否 张量映射列:卷积的通道按像素 否 cp.async.bulk.tensor .im2col 否 warp 洗牌、投票、折叠、四元组 simd_* shfl、vote、redux subgroup 操作 32 位和 64 位原子操作 是 是 是 纹理与采样器 是 tld、tld4 图像与采样器 1 维、数组、3D、立方体纹理 texture1d、texture2d_array、texture3d、texturecube tex.1d、tex.a2d、tex.3d、tex.cube 1 维、数组、3D、立方体 渲染通道、mesh 与 task 阶段、[[tile]] 是 否 否 half 算术,以及 threadgroup 内存中的 half 是 否 否 64 位浮点数:算术、比较、转换 是 是 是 矩阵:乘法、转置、缩放 simdgroup_matrix mma、wgmma、ldmatrix、stmatrix,支持 8x8 half 和 16x16、16x8 字节形状,以及加载时扩展的 6 位和 4 位形状 所有形状,2 到 4 列、2 到 4 行 Triton tl.dot:f16、tf32、bf16、fp8、int8 否 是 否 可移植数学(sqrt、pow、sin) 是 是 是
张量映射这一行,是 weft 唯一一处定义格式而非读取格式的地方。NVIDIA 没有公布 cp.async.bulk.tensor 所读取的描述符的字节布局,所以该布局记录在 runtime/weft_runtime.hpp 中,两个引擎解码的是相同的字节。偏移 124 处没有 weft 标记的对象会被报告出来,而不是被解码。
无法用此引擎所运行的某种形式表达的内核,会在翻译时按名称被拒绝。
make
./build/weft run kernels/basic.metal --kernel saxpy --grid 1048576
./build/weft run kernels/basic.metal --kernel block_reduce --grid 1048576
--threads 256 --buffers 1048576,4096
./build/weft run kernels/cuda/scale.ptx --kernel scale --grid 1048576
--buffers 1048576,1048576 --arg 0=1.5
./build/weft run kernels/spirv/blockreduce.spv --kernel block_reduce --grid 1048576
--threads 256 --buffers 1048576,4096
./build/weft run kernels/triton/add.ptx --kernel add_kernel --grid 1024
--buffers 1024,1024,1024 --arg 0=1000
./build/weft run kernels/basic.metal --kernel texmix --grid 65536 --buffers 65536
--textures 64x64 # 也可用 64x64*4 数组、64x64x8 体积
./build/weft run kernels/basic.metal --kernel fragshade --render 64x64 --buffers 4096
--textures 64x64
./build/weft run my.metal --emit # 生成的 C++
./build/weft run my.metal --emit-gpu # GPU 编译的 Metal 源码
./build/weft run my.metal --cpu-only # 不需要 Metal 设备
选项:--grid、--threads、--buffers a,b,c(每个缓冲区自身类型的元素数)、--render WxH、--textures WxH[*L|D],...、--samplers filter/address,...、--arg N=V、--bench K、--cpu-only、--emit、--emit-gpu、--load B=path、--dump B=path、--dump-gpu B=path。WEFT_THREADS 设置 CPU 工作线程数,WEFT_WARP=1 为 PTX 选择 warp 向量后端,WEFT_CXX 指定编译器。
内核索引超出缓冲区末尾时会报告出来,而不是让进程崩溃:存储之后紧跟着一个内核无法触碰的页,因此第一次非法访问会指明缓冲区、其长度和这次启动,然后以退出码 2 退出。
make gen ./build/weft-gen kernels/basic.metal --kernel saxpy -o build/saxpy.cpp clang++ -std=c++20 -O2 -fno-strict-aliasing -I include app.cpp build/saxpy.cpp runtime/weft_runtime.cpp
编译时使用 -fno-strict-aliasing:生成的模块会在其内核访问的元素类型之间对缓冲区做强制转换,这正是 GPU 所做的;而一个假定这些转换不能别名的编译器可能会把写入优化掉。Linux 上的 clang 18 对 half 和 bf16 归约内核就确实这么做了;macOS 上的 clang 17 没有。
#include <weft/weft.h> int k = weft_kernel_find("saxpy"); std::vector<float> a(n), b(n), out(n); void* args[] = {a.data(), b.data(), out.data()}; weft_run(k, args, (uint32_t)n, 256);
没有子进程,没有 dylib,没有 Metal 设备,运行时不依赖 clang++。examples/embed/ 是一个完整的示例。
源码变成可移植的 C++:缓冲区变成指针,线程索引变成上下文字段,threadgroup 内存变成指向该组块的句柄,屏障变成运行时的屏障,数学库被重写为可移植版本。
屏障从不切换栈。会挂起的内核会编译成一个可恢复的状态机:寄存器和局部变量存放在调用方拥有的 blob 中,所以一个屏障就是 s->pc = N; return;,下一个片段用 goto 恢复。PTX 和 SPIR-V 总是采用这种形态。对于 Metal,函数体会在其挂起点被拆分,它声明的每个局部变量都移入 blob:一个数组、一个 switch、函数体声明的一个结构体、存储在局部变量中的一个 lambda。auto 局部变量变成 std::decay_t<decltype(init)>,在嵌套作用域中重用的名字会被重命名,函数体声明的带方法的类型会移到文件作用域。函数体会被生成在 lane 循环内部,因此某个 lane 的 return 会离开该 lane。扫描或折叠比洗牌更便宜,因为 32 个 lane 在同一组已发布的字上走同一棵树。
只按 thread_position_in_grid 索引的 Metal 内核还会被生成为一个遍历连续范围的 for 循环,这样指针运算就能被提升,编译器也能进行向量化。
GPU 侧每个前端有两个后端:每个 lane 一个线程,以及每 32 个 lane 的 warp 一个线程。第二个后端使张量核心片段和 64 位原子操作得以表达,因为一个
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。