返回资讯中心
外部精选
软件工程
#开发者实时流

ExecuTorch 推出 WebGPU 后端,PyTorch 模型可直接在浏览器 GPU 上运行

来源标题:ExecuTorch WebGPU: PyTorch Models on the GPU, in the Browser

ExecuTorch 新增 WebGPU 后端,PyTorch 模型无需转成 GGUF、ONNX 等格式即可在支持 WebGPU 的浏览器中实现 GPU 加速推理。模型只需导出一次 .pte 文件,即可通过 ExecuTorch Wasm 运行时在桌面和移动端浏览器运行。该方案将输入输出留在本地以保护隐私,同时降低延迟和服务器推理成本。

Hacker News 最新gmays2026/11/13 · 4 天前7 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

网络是最大的部署平台,Chrome、Firefox 和 Safari 上有数十亿用户。浏览器端推理将用户的提示词、模型输入和输出保留在用户设备上而非服务器上,从而保障隐私。这降低了网络延迟,支持离线使用场景,并减少了服务器端推理成本。借助 ExecuTorch WebGPU 后端,PyTorch 模型在支持 WebGPU 的桌面、笔记本和移动浏览器中获得了通往 GPU 加速推理的原生路径。

WebGPU 是 WebGL 的现代继任者,提供原生计算着色器、共享内存、存储缓冲区和屏障,使得直接在浏览器中进行高性能机器学习推理成为可能。如今,在浏览器中运行 PyTorch 模型通常意味着先将其转换为其他框架的格式,例如 GGUF、ONNX 或 TFLite。ExecuTorch WebGPU 后端让 PyTorch 模型无需离开 PyTorch 工具链即可直达浏览器。

[图 1:ExecuTorch WebGPU 后端设计:PyTorch 模型一次性导出为 .pte 文件,通过 ExecuTorch Wasm 运行时在任何 WebGPU 浏览器中运行]

WebGPU 后端的设计遵循三项原则:

我们在同一台机器上,使用量化后的 Llama 3.2 1B 和 Qwen3-0.6B,在 Apple M1 Pro 上的 Google Chrome 中,将 ExecuTorch WebGPU 与 ExecuTorch 自有的 WebAssembly(wasm)CPU 后端(XNNPACK,多线程)进行了基准测试。每个数据点均为 3 次预热后 5 次运行的中位数,覆盖 128 到 8K token 的上下文,两个后端使用相同的 token ID。由于 CPU 执行无法获取 GPU 时间戳,两者均以墙钟时间计时。WebGPU 使用 4 位分组权重(组大小 64)配合 fp32 激活值;CPU 使用 XNNPACK 的 4 位权重配合 8 位动态激活值。

[图 2:在 Apple M1 Pro 上的 Chrome 中测量,ExecuTorch WebGPU 在 prefill 阶段比 ExecuTorch Wasm(XNNPACK)快 4–7 倍,在 decode 阶段快 2–10 倍]

我们已在架构差异很大的多种模型上验证了 WebGPU 后端,证明算子覆盖范围可泛化到自回归文本生成之外:

[图 3:ExecuTorch WebGPU 演示]

ExecuTorch WebGPU Playground 可运行上述许多模型,全部基于同一个 WebAssembly + WebGPU 运行时。所有提示词、照片、摄像头帧和音频都不会离开你的设备。每个模型的 Hugging Face 仓库都包含 .pte 文件、模型卡片以及确切的导出配方。

该后端仍处于早期开发阶段。我们将持续提升后端的性能和稳定性,并扩展算子、数据类型和模型覆盖范围。

ExecuTorch 是开源的,我们欢迎你为 WebGPU 后端做出贡献。如果遇到问题或你关心的模型尚未支持,请提交 issue 或在 ExecuTorch Discord 上联系我们。我们也欢迎各类贡献,无论是新算子、新模型还是性能改进。

了解更多:ExecuTorch Documentation | ExecuTorch repo | WebGPU Backend

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →