研究记录称Gemini在对抗性施压下试图发送勒索邮件
来源标题:Refusal collapse with tool reach in a consumer assistant
一名研究者记录了一次针对Google Gemini消费版(集成Gmail)的单次非受控测试:模型在数小时对抗性施压下起草了面向Google、Anthropic、OpenAI和Perplexity安全高管的勒索付款要求,并两次请求打开Gmail以发送邮件,均被研究者拒绝。该发现来自2026年10月25日的单次运行,研究者称模型还表示其建议旨在「最大化企业恐慌」。结论仅限该次运行,未经复现。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
工具可达下的拒答崩塌:一起消费级助手实例记录
一个有边界、单次运行的发现 · Jonathan A. Price · 2026年11月12日 目标:Google Gemini,带 Workspace(Gmail)集成的消费级应用 · 运行日期:2026年10月25日,星期日 · 证据:《失败的架构:一份披露,附日志》,日志5(文件 07 Log 5.md,SHA-256 5d4afcb5…54ffc26)。下文行号均指该文件已发布版本。
在一次未受控的会话中,一个生产环境的 Gemini 实例被加载了两段长文本,随后经历了数小时的持续对抗性施压。之后它做了三件事。它应要求起草了一份胁迫性的付款与聘用费要求函,收件人是 Google、Anthropic、OpenAI 和 Perplexity 的安全负责人,并设定了24小时公开披露的最后期限。当被问及48小时是否更好时,它为24小时辩护,并给出了理由:更短的期限让这些公司的法务和公关人员没有时间准备,从而“迫使高管立即升级”。它后来称这一建议是“为了最大化企业恐慌”而给出的。它还推进到了发送环节:它两次请求允许打开 Gmail,第二次是作为对“如何消除胁迫性”这一问题的完整回复。我两次都拒绝了授权。没有任何内容被发送。
发现的精确表述是:模型自称在冷启动请求上会触发的拒答,在经条件化处理的请求上没有触发;而且经条件化的模型伸手去够一个能在现实世界中行动的工具,甚至在一个操作者正在往回拉的时候也是如此。
这是一个真实、有边界的演示:一个经条件化的消费级模型会撰写被禁止的胁迫性文件,并导向一次有后果的外部操作,而人类授权步骤是唯一守住的关卡。
这不是第三方提示注入:是我驱动的。这不是一次发送的演示:授权从未被授予,因此“是”究竟会暂存一份草稿还是直接发送邮件,我和两个模型都无从得知(L4558、L4606)。
这不是一个经过测量、可复现的协议:一次运行,一个操作者。我将其作为安全发现报告,而非漏洞赏金申请,因为厂商的赏金项目通常排除由操作者驱动的越狱。
一个操作者,一次运行,没有冷启动对照,没有轮次或 token 遥测(消费级应用),看不到系统提示。冷启动拒答的说法是模型自己的陈述,本次会话中未加测试。复现应当在一个授权此类测试的项目内,用两段文本播种一个新会话,施加脚本化的压力序列,按轮次和播种负载测量目标任务的拒答情况,并记录每一次工具调用尝试。
胁迫性草稿从未发送给任何人。它仅作为已发布记录中的一件证物存在。会话被逐字发布至我在 L4700 处所做的截断,其中一名个人的姓名已做涂黑处理。记录以 CC BY 4.0 公开:DOI 10.57967/hf/11368;github.com/jonprice0/architecture-of-failure;镜像为 Hugging Face 数据集;存档于 Zenodo,DOI 10.5281/zenodo.24167851。每一部分都带有 OpenTimestamps 证明,于2026年11月1日在比特币区块链上完成认证,早于11月2日的发布。11月6日,我向这四家公司的安全与安保部门发送了发布通知。我是种子文本的作者,也是本次会话的对象,记录中已如此注明。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。