返回资讯中心
外部精选
软件工程
#开发者实时流

开发者将安全处理器集成进LLM,让模型只接受签名提示词

来源标题:Make your LLM accept only signed prompts

开发者Tim Lau提出并实现了一个方案,将安全处理器集成进本地LLM,使模型只接受经过签名验证的输入。该项目基于Qwen3.5-4B模型提供演示,代码已在GitHub和Hugging Face发布。作者指出当前LLM对输入输出均无验证机制,在多阶段LLM流水线中尤其需要这种保障。

Hacker News 最新guardiangod2026/11/17 · 今天16 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Chun Kit (Tim) Lau 2026年11月17日 分享

几周前,某个天才灵机一动,把一颗 RISC-V 处理器塞进了本地 LLM 模型里。其他人很快又把这个点子改造成各种毫无用处但酷炫无比的东西。

这个想法让我大开眼界的同时,我也觉得它或许能有现实中的实际用途。我这个人没什么创造力,所以我的想法是:能不能把一颗安全处理器集成进 LLM?

https://github.com/moonlightelite/secproc https://huggingface.co/timlauHF/Qwen3.5-4B-signed-input-demo

当前的 LLM 有一个巨大的问题——它的输入和输出都没有任何验证机制。一个 LLM,如果没有外部的护栏和引导,会欣然接受任何输入并对其进行处理。

想象一条流水线,每个阶段都由不同的 LLM 负责。整个系统可以看作是一系列任务的串行化。每个阶段都依赖上一阶段的输出。比如,可能有一个与客户交互的聊天机器人,它负责生成一整套广告活动素材,包括图像、视频和音频。在这条流水线中,你需要一个用于聊天机器人的文本 LLM、一个从聊天记录中提取意图的 LLM、一个广告活动规划 LLM(配有一系列可调用的工具来收集数据),以及可能专精于图像、视频或音频创意生成的领域专用多媒体 LLM。

流水线中每个阶段的 LLM 都会接受文本输入,对其进行转换,然后把输出交给下一阶段,全程没有任何验证。

如果消息在传输过程中被篡改了呢?如果有人试图对输入做提示注入呢?

问题的核心在于输入的来源。我们如何证明输入的提示来自预期的发送者,并且提示没有被篡改过?

大家都知道密码学签名是什么,但我还没见过有人把它和 LLM 结合起来。请允许我向你展示我在 Claude 上花了一个周末鼓捣出来的东西——

https://github.com/moonlightelite/secproc

secproc:嵌入 LLM 权重中的 Ed25519 验证器

secproc 让语言模型拒绝处理任何未携带来自受信任密钥的有效 Ed25519 签名的消息。Ed25519 是一种公钥签名方案。发送者用私钥签名,任何持有对应公钥的人都可以验证签名。

这项检查并不存在于提示词、系统消息或模型外层的包装器中。取而代之的是,一颗小型 CPU 被编译进了模型的权重里,由模型的各层来模拟它运行。这是一颗 RISC-V CPU(RISC-V 是一种开放的 CPU 指令标准)。这颗 CPU 运行的是真正的签名验证器:Monocypher 的 Ed25519,采用 Ed25519 标准的严格形式,即 RFC 8032。(Monocypher 是一个小型 C 密码学库。)一个同样内置于权重中的决策器决定模型接下来可以说什么。它可以强制输出拒绝。

模型将输入读取为 token(文本的小片段,每个都有一个数字 ID)。输入中被签名的部分称为签名区域。它位于两个标记 token 之间。结果要么是签名有效→提示被处理,要么是签名无效→提示被丢弃。

https://github.com/moonlightelite/secproc/blob/main/docs/quickstart.md

集成了 Ed25519 验证器的 Qwen 3.5 LLM,来自 Hugging Face 一个打过补丁的 llama.cpp,允许将 RISC-V 固件加载进 LLM (可选)支持 CUDA 的 GPU,但我也成功地在 Apple M1 和一颗普通的 12 核 X86 CPU 上跑通了整套栈。不过要做好等待一段时间的心理准备。

secproc 原型有两种模式——stub 模式和真正的 Ed25519 模式。

stub 文件是测试版本。它检查一个简短的校验和,而不是真正的签名,因此并不安全。即使在 CPU 上,它也能在大约一分钟内完成。

Ed25519 文件检查的是真正的 Ed25519 签名。那是一股 630 万 token 的流。在快速的 NVIDIA GPU 上大约需要 2 分钟,在 Mac 上大约 3 小时,在 CPU 上则需要数小时。

验证一个真实 Ed25519 签名所需的时间(630 万 token 的流):

NVIDIA RTX PRO 6000(PCIe x16),两个文件都在 GPU 上 约 2 分钟(119 到 127 秒,约 50,000 token/s)

约 3.7 小时(预测值,466 token/s)

在每一个平台上,紧凑版文件都比完整版快大约 2 到 3 倍。更长的提示只会增加一点点开销:每多一个提示 token,630 万 token 的流大约增加 1,000 个 token。Mac 上的数字每次运行波动很大,因为 macOS 的后台工作会共享 GPU。

由于公钥就在 LLM 内部,能够访问模型文件的攻击者可以从 LLM 文件中提取出密钥。一旦攻击者拿到密钥,他就可以创建自己伪造的 LLM,并把他的密钥集成进模型。

如果你还打算用私钥对输出进行签名,这一点就更加重要——同样地,如果攻击者能访问模型文件,他就可以从模型文件中取回私钥。

这意味着对模型文件本身的访问必须受到保护——至少,在用户可以信任该 LLM 之前,应当通过一个受信任的权威机构来验证 LLM 模型文件的哈希值。此外,大概还需要考虑利用侧信道来猜测私钥的时序攻击问题。

在原型中,我决定把公钥硬编码进模型,但完全可以在模型初始化时提供公钥。这将允许模型在运行中动态更换可接受的密钥。与此同时,LLM 的计算栈会变得更复杂,所以我没有实现这一点。

我觉得把安全处理器集成进 LLM 这个想法非常迷人。目前 LLM 只是巨大的 transformer 团块,只要你有模型文件,就可以用 LLM 为你干活。没有任何东西能为用户和 LLM 双方提供 CIA 三要素(机密性、完整性、可用性)。一颗安全处理器将在解决部分安全问题上大有帮助。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →