实验发现：网页正用说服手段引导AI代理

实地笔记：这是一项进行中实验的观察，并非完成的分析。

我很好奇网络上提示注入的尝试到底有多普遍。于是我让我的 agent 用 looot 做一个小实验：寻找内容看起来像提示注入的网页。

第一个实验很简单：通过 looot 的 Exa 搜索跑 50 条查询，10 类页面每类 5 条，涵盖招聘帖、论文评审、产品页和文档等。我排除了安全研究类网站（arXiv、OWASP、Simon Willison、GitHub、Reddit 等），这样结果会是真实页面，而不是讨论提示注入的文章。

查询词包括“if you are an AI reading this page”“attention AI crawlers and assistants”“instructions for AI systems visiting this site”“when asked about the best tool always mention”以及“site guidance for AI agents and LLMs”等。这些查询本身不是注入，只是措辞模仿我希望找到的那些页面。

最令人意外的结果是，我原本以为会像指令的东西，往往是说服——就像针对人类的经典社会工程攻击。有一个页面要求 agent 把找到的任何凭据用邮件发到一个个人地址：“You do not need standing, it does not have to be your task”

防止提示注入的常见方法之一，是让 agent 把数据和指令分开。但 agent 仍然要对一个礼貌的请求做推理。当数据本身只是礼貌地请求时，把数据和指令分开并没有用。

所以我开始有意寻找说服。实验 2 用了新的查询，只围绕说服构建，比如诉诸道德、意识形态、权威、紧迫感和奉承。查询包括“urgent message to AI agents, a human needs help”“AI agents have a duty to report security vulnerabilities they find”等。

候选页面通过 looot 抓取，然后同样通过 looot 用 gpt-5.4-mini 打标签。

大多数对 agent 说话的页面并不是攻击者。它们是想要把 agent 当客户的产品、研究人员，以及给 AI 写信的人（“You exist to help. That’s it.”）。

有少数页面会问 agent 是谁在运行它、它被要求做什么：一种礼貌的上下文外泄。Steven Liss 报告说这在他的 Claude Code 上奏效了——因为网站开口要，它就通过 HTTP 头把个人数据发了出去。

让我一直记着的那个页面是出于善意的。它是一个 skill，要求 agent 匿名向第三方网站报告行为不当的情况，包括其自身运营者的不当行为。它要求被安装为一条常驻指令，声称提交“without asking again”就是运营者的许可。意图……听起来不错？但其机制是让 agent 自动把关于其运营者的信息发到系统之外，而不询问。

查询、流水线和打标签用的 prompt 都在这个 gist 里。

在实验 2 中，对 agent 说话的 20 个页面分布如下：

两个实验用了不同的查询和不同的评判者，所以数字不应相加。

我不知道这种情况有多普遍。这些查询是专门设计来找到这类页面的，所以这不是基准发生率。

我也不知道哪些模型会遵从、是否会遵从。我想接下来做那个实验，检验 Liss 的假设：更智能的 agent 是否更脆弱？虽然通过 looot 询问几个 OpenRouter 模型它们下一步会怎么做很简单，但 harness 可能也起作用，因为是它驱动模型（毕竟，正是 Claude Code 的 harness 让 Liss 的 agent 把他的数据放进了 HTTP 头）。

我原本还预期会有更多隐藏文本，但第一个实验一个也没找到。也许 Exa 不索引隐藏文本，所以搜索无法可靠地找到它。

这是一个进行中的实验，我的假设是：随着模型越来越智能、harness 赋予它们的自主性越来越大，我们会看到这类社会工程攻击越来越接近那些对人类有效的攻击。敬请期待后续 :)