返回资讯中心
外部精选
软件工程
#开发者实时流

Hugging Face 发布 @huggingface/kernels 库及 207 个 WebGPU 内核

来源标题:HuggingFace/Kernels: 200 WebGPU Kernels for Local AI

Hugging Face 推出 @huggingface/kernels,一个用于从 Hugging Face Hub 加载和运行优化 WebGPU 内核的轻量库,并同步上线 207 个内核的初始集合。这些内核覆盖浏览器端推理所需的各类 GPU 操作,目标是让 WebAI 的浏览器推理更快、更易用。该库是 Hugging Face WebAI 团队多层优化计划中的底层一环。

Hacker News 最新gmays2026/11/11 · 6 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

返回文章列表

推出 @huggingface/kernels:面向本地 AI 的 200+ WebGPU 内核 已发布 2026 年 9 月 1 日 在 GitHub 上更新 点赞 99 +93 Nico Martin nico-martin 关注 Joshua Xenova 关注 TL;DR 为什么从内核开始? 一个内核仓库,而不仅仅是一个着色器 从 Hub 加载内核 这些内核有多快? 从单台设备到设备集群 为 WebAI 构建共享基础

Hugging Face WebAI 团队最大的目标之一,是让浏览器推理尽可能快速、尽可能易用。要实现这一点需要多层协同努力:模型需要适合浏览器的表示形式,运行时需要构建高效的执行计划,而技术栈最底层的各个 GPU 操作则需要充分利用众多不同的设备和浏览器实现。

今天,我们发布这项工作的第一层:@huggingface/kernels,一个用于从 Hugging Face Hub 加载并运行经过优化的 WebGPU 内核的极简库,同时还在 huggingface.co/webgpu-kernels 上发布了首批 207 个内核的集合。

该集合覆盖了广泛应用于各种机器学习架构和工作负载的操作。更重要的是,每个内核都以完整、带版本的包形式发布:其接口、着色器模板、正确性用例、基准用例和使用说明都一起存放在 Hub 上。

我们还推出了 Fleet,一个浏览器内的 GPU 基准测试与测试套件,可在你的硬件上运行内核并为其评分。除了你自己机器上的结果之外,Fleet 还为社区提供了一种方式,让来自我们无法在传统测试实验室中覆盖的设备的性能与正确性证据得以贡献出来。在征得你同意的情况下,每次运行都会添加私有证据,帮助我们发现问题(错误结果、异常缓慢的用例等)、改进内核变体,并在真实硬件上做出更好的优化决策。

TL;DR 207 个 WebGPU 内核,以独立仓库的形式发布在 webgpu-kernels 组织中。采用 Apache-2.0 许可证。 一个 JavaScript 加载器 @huggingface/kernels,可直接从 Hub 下载、准备并运行内核。 每个内核都有明确的契约和可复现的证据,包括清单、正确性测试、基准用例和 WGSL 着色器模板。 Fleet,一个基于浏览器的基准测试工具,众包收集真实 GPU 上的正确性与性能证据,帮助我们改进内核及其变体。

为什么从内核开始?

在浏览器中运行的模型最终会变成一系列 GPU 操作:矩阵乘法、归一化、卷积、注意力原语、量化操作、数据布局变换等等。WebGPU 通过可移植的 API 让这些操作在现代浏览器中可用,而 WGSL 则为执行这些操作的着色器提供了通用语言。

然而,可移植性并不自动意味着性能。两个着色器可以实现相同的操作并产生相同的输出,但在不同的加速器上表现可能完全不同。工作组大小、内存访问模式、向量化、数据类型和融合策略都会影响性能。最佳选择还可能随输入形状、设备、浏览器和可用的 WebGPU 特性而变化。

这就是为什么内核构成了快速浏览器推理的基础层。上层运行时最多只能和它们所调度的操作一样高效。通过让这些操作可以被单独发现、测试、基准测试和版本化,我们可以在为上层保持稳定契约的同时独立改进这一基础。

一个内核仓库,而不仅仅是一个着色器

集合中的每个内核都有自己的仓库和内核卡片。卡片记录了操作的语义、输入、输出、属性、支持的数据类型、源文件,以及一个可直接运行的 @huggingface/kernels 示例。

例如,ai.onnx.Add 实现带多向广播的逐元素加法。它是神经网络中最简单的操作之一,从残差连接到添加偏置都广泛使用。其卡片记录了两个输入、广播后的输出形状、支持的数据类型,以及针对不同形状和设备可用的变体。

在卡片背后,仓库包含了理解和评估该实现所需的产物:

这种结构将着色器变成了可复用的软件产物。接口无需阅读 WGSL 即可查看,正确性和性能用例随实现一起提供,已发布的版本可以被显式加载,而不必依赖未版本化的文件 URL。我们的内核还可以作为参考实现,供开发自定义 WebGPU 内核或将这些操作集成到自己运行时中的开发者使用。

从 Hub 加载内核

从 npm 安装该包:

npm install @huggingface/kernels@preview

运行这些内核需要支持 WebGPU 的浏览器。WebGPU 的可用性取决于浏览器、操作系统、GPU 和驱动程序。你可以在 JavaScript 中用 "gpu" in navigator 检查其是否可用。

import { getKernel } from "@huggingface/kernels"; const add = await getKernel("webgpu-kernels/ai.onnx.Add", { version: 1 }); const { c } = await add({ a: { data: new Float32Array([1, 2, 3, 4, 5, 6]), shape: [2, 3], b: { data: new Float32Array([10, 20, 30]), shape: [3], });

第二个输入沿第一维广播,产生形状为 [2, 3] 的输出。加载器根据清单契约和输入推导出该输出形状和逻辑数据类型,然后自动分配 c。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →