返回资讯中心
外部精选
软件工程
#开发者实时流

ZeroPoint 发布仅靠 CPU 运行的决策模型,可回答“以上都不是”

来源标题:ZeroPoint – CPU-only decision model that can answer 'none of these'

ZeroPoint 是一个小型能量模型,能在未被提示“以上都不是”是选项的情况下直接给出该答案。它在 900 个测试用例(半数为无正确选项)上与 Semantic Router、zero-shot NLI 对比,运行于 2 核 CPU、单条处理。随机猜测准确率约 13%,而始终回答“none”在无正确选项时得 50%、有正确选项时得 0%。

Hacker News 最新jhausmaval2026/11/9 · 8 天前21 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

ZeroPoint 是一个小型能量模型。它衡量每个选项与文本的契合程度,并把这一契合度与一个固定水平——零——做比较,零代表“以上都不是”。契合度不超过零的选项几乎分不到概率,因此 ZeroPoint 能够有把握地回答“none”。

如何解读这些数字。半数案例中没有正确选项。随机猜测时,把 none 也算作一个额外选项,正确率约为 13%。始终回答 none,在第一行能拿到 50%,而在存在正确选项时则为 0%。

测量基于三个模型在训练中不太可能见过的测试:一个 2,000 例的测试,以及两个支持工单测试,各 300 例,共 900 例,其中一半没有正确选项。ZeroPoint、Semantic Router 和 zero-shot NLI 在 2 核 CPU、2 线程上运行,一次处理一个案例。Semantic Router 1.1.1 使用其默认 encoder;zero-shot NLI 使用 DeBERTa-v3-base。¹ AWS,Apache 2.0;² Cloudflare,Apache 2.0;两者都在每个列表中加入“None of these”作为一个额外选项,以便能够回答 none。³ Semantic Router 给出的是相似度,不是概率。⁴ 在 CPU 上:在另一个 2 核 CPU 上测量,基于 2,000 例测试中的 118 例,ZeroPoint 耗时 18 ms。在 GPU 上:NVIDIA L4,基于 900 例。⁵ 在 CPU 上:未测量,因为 Clef-flash 需要约 19 GB 内存;这是根据其规模估算的下限,为 Strands Decider 的 4.5 倍。在 GPU 上:NVIDIA L4,基于 900 例。各测试结果、其他置信度阈值以及重新运行全部测试的脚本:BENCHMARK.md。

通过 API 调用的托管 LLM 在这些案例中的正确率为 57–60%,比 ZeroPoint 高几个百分点,但耗时是后者的 18 到 55 倍。

详情见此。

体积 延迟 确定性 多语言 89 MB,无需 GPU 模型随包发布:运行时无需下载任何内容。Strands Decider 需要 4.8 GB 和一块 GPU;Clef-flash 需要 19 GB。 在 CPU 上 42 ms 上述测试的中位数,基于 2 个 CPU 核心。在另一个 2 核 CPU 上,ZeroPoint 每次决策耗时 18 ms,Strands Decider 为 6.8 s。 相同输入,相同答案 选项顺序永远不会改变决策;Strands Decider 在 7% 的案例中会改变,在其自身队列不在列表中的支持工单中,这一比例为 13%。在 Linux、macOS 和 Windows 上决策相同,每次更改都经过测试。 25 种语言 拉丁字母书写的欧盟语言,外加加泰罗尼亚语、巴斯克语和加利西亚语。具体是哪些语言,以及原因。

路由支持工单、识别请求背后的意图、将文档发送到正确的流程:每一项都意味着从列表中挑选一个选项。分类器总会挑出某个选项,即使正确选项不在列表中,或者文本与任务毫无关系。ZeroPoint 能够回答 none,而 none 的概率与每个选项的概率出自同一套计算。

pip install zeropoint from zeropoint import ZeroPoint zp = ZeroPoint() zp.decide("Can you move 200 euros from my savings to my checking account?", ["transfer", "balance", "pay bill"]) transfer 0.77 ███████████████····· balance 0.02 ···················· pay bill 0.01 ···················· none 0.20 ████················ → transfer · 12 ms

当没有任何选项合适时,ZeroPoint 会如实说明:

zp.decide("Set an alarm for 6:30 tomorrow morning", ["transfer", "balance", "pay bill"]) pay bill 0.00 ···················· transfer 0.00 ···················· balance 0.00 ···················· none 1.00 ████████████████████ → none · 12 ms

选项可以是任何短文本,使用任何受支持的语言:

zp.decide("Me han cobrado dos veces la suscripción de marzo, ¿podéis devolverme el duplicado?", ["facturación", "soporte técnico", "recursos humanos"]) facturación 0.76 ███████████████····· soporte técnico 0.00 ···················· recursos humanos 0.00 ···················· none 0.24 █████··············· → facturación · 16 ms

参见文档:javihaus.github.io/zeropoint。

ZeroPoint 在你的进程内运行:每次决策一次调用,无需网络、无需 GPU、无需运行服务。

在路由流水线中,以置信度为门槛:高于阈值则自动路由,其余升级到人工审核。

d = zp.decide(text, ["transfer", "balance", "pay bill"]) if d.choice is None or d.confidence < 0.8: send_to_person(text) # no option fits, or ZeroPoint is not sure enough else: route(text, d.choice) # e.g. "transfer"

正确的阈值取决于错误操作会给你带来多大代价;请用几百条你自己的标注文本选定它。

对于大量文本,zp.decide_many(texts, options) 可以为所有文本接收一个选项列表,也可以为每条文本接收一个列表。每条文本独立计算,因此每个结果都与单独对该文本调用 decide 完全一致。列表长度不限。ZeroPoint 将选项按每 20 个一块与文本一起读取,每个选项的概率来自整个列表上的一个分布。

选项 ZeroPoint(threads=2) 设置 encoder 使用的 CPU 线程数。决策不依赖于它。

你可以在 CPU 上用自己的标注数据校准 ZeroPoint。

pip install torch --index-url https://download.pytorch.org/whl/cpu # optional: CPU-only PyTorch, without the GPU libraries pip install "zeropoint[fit]" # adds PyTorch and onnx; deciding never needs them mine, report = zp.fit(texts, labels) # labels: the right option for each text, or None for "none of these" print(report["before"], report["after"]) mine.save("my-model") zp = ZeroPoint("my-model")

注意 fit 会留出 20% 的样本,并报告模型在这些样本上训练前后的表现。相同数据、相同随机种子和相同线程数会得到逐位相同的模型。在上述支持工单测试中,300 条标注工单使队列在列表中时的正确队列占比从 24% 提升到 36%,而在与无关文本对比时从 29% 提升到 46%。当工单自身队列缺失时,有把握的答案从 20% 降至 0%。一次 fit 为 200 步,在 2 个 CPU 线程上耗时约 4 到 12 分钟,具体取决于 CPU。

样本较少时,留出部分很小,报告中的数字会因偶然因素大幅波动。fit 和

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →