
Kiln 发布:WebGPU 浏览器推理库,速度达 transformers.js 2.2 倍
来源标题:Show HN: Kiln – A WebGPU alternative to transformers.js, 2.2× faster (median)
Kiln 是一个在浏览器内通过 WebGPU 直接运行原始模型权重的 JavaScript 库,中位速度是 transformers.js 的 2.2 倍。它可直接读取 safetensors、pytorch_model.bin 或 GGUF 文件,无需 ONNX 导出、编译步骤或推理服务器,加载时支持 4-bit/8-bit 量化。API 沿用 transformers.js 命名,覆盖文本生成、语音识别、图像分类等多类任务。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
在浏览器中通过 WebGPU 直接使用模型的原始权重运行 AI 模型。
Kiln 是一个 JavaScript 库,可以完全在浏览器中运行语言、视觉和语音模型。 它直接从 Hugging Face Hub 或你自己的服务器读取模型自身的文件(safetensors、pytorch_model.bin 或 GGUF), 因此不需要 ONNX 导出、不需要编译步骤、也不需要推理服务器。它沿用 transformers.js 的 API 命名,所以 大多数现有代码只需改一下 import 和模型 id 就能迁移过来。
原始权重,无需转换。指向 Hugging Face Hub 上的模型仓库,或单个 .gguf 文件即可。Kiln 在加载时量化为 4-bit 或 8-bit,所以同一个仓库能服务所有精度。
不绑定 Hub。传入 endpoint 就能从镜像或你自己的静态服务器加载同样的文件,包括你自己训练的模型。
熟悉的 API。pipeline、AutoTokenizer、AutoModel 和 TextStreamer,沿用 transformers.js 的选项名和输出结构。
任务丰富。聊天与文本生成、embedding、分类、NER、问答、翻译、摘要、语音识别、文本转语音、图像分类、目标检测、分割、深度估计、背景去除,以及图像或文档问答。
结构化输出。可以把任意 LLM 的回复约束到 JSON schema、正则表达式、语法或一组候选项。
为 LLM 提供更多能力。工具调用、LoRA 适配器、检索辅助工具,以及跨调用和重载的 prompt 缓存。
只加载一次。下载内容会缓存在浏览器中,中断后可续传,已缓存的模型可离线加载。
不挡路。模型在 worker 中运行并把文本流式返回;页面永远不会卡住。
体积小。一个 241 KB(gzip 后)的 ES module,也可以直接从 CDN 使用,在没有 WebGPU 的环境下回退到 CPU。
原则
原始权重。模型从其作者发布的文件加载。你和模型之间没有转换步骤。
先求正确,再求快。每个模型都会在相同输入上与 transformers.js 或 Python 对比校验。改变输出的加速不算加速。
先照顾普通硬件。基准测试是在一台 2017 年、集成显卡的笔记本上测的,因为 Kiln 正是为了让这类机器重新发挥作用而构建的。
诚实的数字。基准测试会列出 Kiln 更慢的地方,而不只是它胜出的地方。
占用小。一个 241 KB 的文件,worker 内含其中,没有运行时依赖,也不需要下载 WASM 运行时。
数据不离开浏览器。模型在用户自己的设备上运行。prompt、图像和音频永远不会发送到服务器。
前提条件
要获得完整速度,需要支持 WebGPU 的浏览器:当前版本的 Chrome 或 Edge、Safari 26 或更新版本,或 Windows 上的 Firefox 141 或更新版本。没有 WebGPU 时,Kiln 会在 CPU(WASM SIMD)上运行,速度更慢。
从 CDN 导入时无需安装任何东西。使用打包工具时,任何能处理 ES module 的配置都可以(Vite、webpack 5 等)。
只有在你自己构建本仓库时才需要 Node 22.12 或更新版本。
快速开始
安装:
npm install kiln-webgpu
或者不安装、不用打包工具,直接导入:
<script type="module"> import { pipeline } from "https://cdn.jsdelivr.net/npm/kiln-webgpu@0.2.0"; </script>main 分支的最新构建也会从本仓库的站点提供,地址是 https://erdemozkan.github.io/kiln/kiln-webgpu.js。
用 transformers.js 风格的 pipeline 与模型聊天:
import { pipeline } from "kiln-webgpu"; const generator = await pipeline("text-generation", "HuggingFaceTB/SmolLM2-135M-Instruct", { dtype: "q4", progress_callback: (p) => console.log(p.status, p.file ?? "", p.progress ?? ""), }); const [out] = await generator([{ role: "user", content: "Hi!" }], { max_new_tokens: 128 }); console.log(out.generated_text.at(-1).content);
或者用 Kiln 自己的 API 流式输出回复:
import { load } from "kiln-webgpu"; const llm = await load("HuggingFaceTB/SmolLM2-135M-Instruct", { onProgress: (p) => (bar.value = p.loaded / p.total), // 驱动一个 <progress> 元素 }); for await (const text of llm.chat([{ role: "user", content: "Hi!" }])) output.append(text);
其他任务用法相同:
const embed = await pipeline("feature-extraction", "sentence-transformers/all-MiniLM-L6-v2"); const vectors = await embed(["Hello world", "Hi"], { pooling: "mean", normalize: true }); const transcribe = await pipeline("automatic-speech-recognition", "openai/whisper-tiny.en"); const { text } = await transcribe("speech.wav");
想试用上面动画中的 playground:
git clone https://github.com/erdemozkan/kiln.git && cd kiln && npm install && npm run dev
基准测试
在同一浏览器、同一台机器、相同输入上,Kiln 与 transformers.js 的对比。在 31 组任务与模型组合中,Kiln 端到端在每一组上都更快,加速中位数为 2.2×。
测试在 Chrome 中的一台集成显卡(Iris Plus 650)Intel Mac 上进行;时间取三次预热调用的中位数。在 Apple M3 上,Kiln 解码 SmolLM2-135M 约为每秒 307 个 token。
Kiln 更慢的地方:加载已缓存的模型、4-bit 模型的下载体积(transformers.js 的 ONNX 仓库提供预量化文件),以及通过 AutoModelForMaskedLM 计算完整的 masked-LM logits。每个模型的输出都与 transformers.js 或 Python 做了对比校验;技术说明中附有每一项对比。
这个想法源于我在一档播客里听到 Sam Altman 说“让每个人都把世界上有限的 DRAM 供应中的一部分放在自己电脑里……却只有 5% 的时间在用,这相当糟糕”。这让我想到了抽屉里闲置的那台 2017 款 MacBook Pro,i7 加 16 GB 内存,什么也没干。
我想让它重新发挥作用,而且希望这件事像打开一个网页一样简单:不用安装、不用服务器,只要一个浏览器。我也希望像我这样的其他开发者,能同样轻松地利用自己设备上闲置的内存和算力来完成小型 AI 任务。
于是 Kiln 诞生于一个想法:不要埋没我们已有硬件的潜力。我研究了 transformers.js 的不足之处,专注于让模型在普通的、日常的设备上良好运行——任何能打开带 WebGPU 的浏览器的设备都行。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。