
ExecuTorch 推出 WebGPU 后端,PyTorch 模型可直接在浏览器 GPU 上运行
来源标题:ExecuTorch WebGPU: PyTorch Models on the GPU, in the Browser
ExecuTorch 新增 WebGPU 后端,PyTorch 模型无需转成 GGUF、ONNX 等格式即可在支持 WebGPU 的浏览器中实现 GPU 加速推理。模型只需导出一次 .pte 文件,即可通过 ExecuTorch Wasm 运行时在桌面和移动端浏览器运行。该方案将输入输出留在本地以保护隐私,同时降低延迟和服务器推理成本。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
网络是最大的部署平台,Chrome、Firefox 和 Safari 上有数十亿用户。浏览器端推理将用户的提示词、模型输入和输出保留在用户设备上而非服务器上,从而保障隐私。这降低了网络延迟,支持离线使用场景,并减少了服务器端推理成本。借助 ExecuTorch WebGPU 后端,PyTorch 模型在支持 WebGPU 的桌面、笔记本和移动浏览器中获得了通往 GPU 加速推理的原生路径。
WebGPU 是 WebGL 的现代继任者,提供原生计算着色器、共享内存、存储缓冲区和屏障,使得直接在浏览器中进行高性能机器学习推理成为可能。如今,在浏览器中运行 PyTorch 模型通常意味着先将其转换为其他框架的格式,例如 GGUF、ONNX 或 TFLite。ExecuTorch WebGPU 后端让 PyTorch 模型无需离开 PyTorch 工具链即可直达浏览器。
[图 1:ExecuTorch WebGPU 后端设计:PyTorch 模型一次性导出为 .pte 文件,通过 ExecuTorch Wasm 运行时在任何 WebGPU 浏览器中运行]
WebGPU 后端的设计遵循三项原则:
我们在同一台机器上,使用量化后的 Llama 3.2 1B 和 Qwen3-0.6B,在 Apple M1 Pro 上的 Google Chrome 中,将 ExecuTorch WebGPU 与 ExecuTorch 自有的 WebAssembly(wasm)CPU 后端(XNNPACK,多线程)进行了基准测试。每个数据点均为 3 次预热后 5 次运行的中位数,覆盖 128 到 8K token 的上下文,两个后端使用相同的 token ID。由于 CPU 执行无法获取 GPU 时间戳,两者均以墙钟时间计时。WebGPU 使用 4 位分组权重(组大小 64)配合 fp32 激活值;CPU 使用 XNNPACK 的 4 位权重配合 8 位动态激活值。
[图 2:在 Apple M1 Pro 上的 Chrome 中测量,ExecuTorch WebGPU 在 prefill 阶段比 ExecuTorch Wasm(XNNPACK)快 4–7 倍,在 decode 阶段快 2–10 倍]
我们已在架构差异很大的多种模型上验证了 WebGPU 后端,证明算子覆盖范围可泛化到自回归文本生成之外:
[图 3:ExecuTorch WebGPU 演示]
ExecuTorch WebGPU Playground 可运行上述许多模型,全部基于同一个 WebAssembly + WebGPU 运行时。所有提示词、照片、摄像头帧和音频都不会离开你的设备。每个模型的 Hugging Face 仓库都包含 .pte 文件、模型卡片以及确切的导出配方。
该后端仍处于早期开发阶段。我们将持续提升后端的性能和稳定性,并扩展算子、数据类型和模型覆盖范围。
ExecuTorch 是开源的,我们欢迎你为 WebGPU 后端做出贡献。如果遇到问题或你关心的模型尚未支持,请提交 issue 或在 ExecuTorch Discord 上联系我们。我们也欢迎各类贡献,无论是新算子、新模型还是性能改进。
了解更多:ExecuTorch Documentation | ExecuTorch repo | WebGPU Backend
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。