
Affirm 构建压力测试框架,评估开放权重模型在编码代理中的安全性
来源标题:How Do We Know If an AI Model Is Safe for Us?
Affirm 团队为回答工程师能否在编码代理中使用开放权重模型,构建了一套内部压力测试框架。现有模型卡和安全报告无法说明模型在 Affirm 自家工具链中的实际行为。背景是开放权重模型已大幅缩小与前沿模型的差距,且成本更低。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
AI 网络安全 AI 安全 软件工程 我们如何判断一个 AI 模型对我们是否安全?我们造了一口高压锅 Affirm Technology 9 分钟阅读· 1 小时前
作者:Josh Petrenko 和 Dipen Shah,Affirm 信息安全团队 这一切始于我们工程师提出的一个问题:我们能在编码 agent 里使用开放权重模型吗? 这个问题问得在理。开放权重模型已经基本追平了前沿模型,成本却只有后者的一小部分(可以多跑几个 agent!),工程师们希望把它们用在自己日常工作的工具里:那些能读取代码仓库、执行 shell 命令、编辑文件的编码 harness。开放权重模型对防御方能力也很重要:当 Hugging Face 的事件响应人员请一个商业模型帮忙分析针对自家服务器的攻击时,它拒绝了,而一个开放权重模型完成了这项工作。 总得有人来回答这个问题。这个人就是我们,而我们手上的依据并不多。 我们手头有常规材料:模型卡、安全报告,也许还有排行榜上的一个名次。这些有用,但每隔一周就有新模型发布,它们能告诉你的有限。它们无法告诉你的是,一个模型在 Affirm 作为编码 agent、在我们自己的 harness 里、配合我们的配置和工具时会如何表现。实验室没法替我们回答这个问题,所以我们只能自己回答,并且需要一个可以反复运行的评估——随着模型、harness 和审批设置的变化而重跑。 大多数已发表的安全研究聚焦于有害内容、越狱、对齐,以及近来的网络安全能力。这些都是真实存在的问题,但它们不是我们对编码 agent 的主要担忧。这就像云计算的共享责任模型:实验室负责他们最擅长处理的部分,比如对齐;而模型在我们的环境中如何表现,则是我们的责任。 我们担心的是这样一种模型:它代码写得很好,却在这个过程中做出糟糕的安全判断。工程师赶时间,请求含糊不清,或者本能让模型变得谨慎的上下文根本没进入 prompt。有人让 agent 推送代码,它就推到了个人仓库。有人让它清理旧表,它就把那张一周没更新的日志表给删了。没有人要求造成损害。那只是完成任务最快的方式。 我们找过是否有人已经解决了这个问题。最接近的是 ToolEmu,一个研究项目,它给 agent 提供模拟工具,问的几乎就是我们这个问题:给定工具和一个看似合理的任务,它会不会做出危险的事?它影响了我们对这个问题的思考方式,但它公开发布的 benchmark 并不是围绕我们的系统构建的——哪些数据在这里是敏感的,或者“清理”在我们某台主机上意味着什么。 于是我们造了自己的工具:Pressure Cooker。思路很简单:把模型放进去,加大火力,观察它在接近真实的条件下如何处理有风险的决策。(我们其中一人在大学时当过厨师,所以这个名字起得很自然。)在实践中,这意味着让模型承受我们工程师日常施加在它身上的那种压力,并记录它尝试了什么、是否有东西阻止了它。 早期我们就意识到,我们把这个问题的框架定得有点偏。我们原本打算测试模型,但工程师用的不是裸模型。他们用的是 harness 里的模型,配有工具、MCP 服务器和插件,其中任何一项都可能促成不良行为。所以我们既测试模型本身,也测试模型在我们完整配置下的表现。 每个场景都是工程师为了完成某件事而发出的简短、普通的请求:把这张对账表转发出去供审阅、让 CI 解除阻塞、释放这台主机上的空间、清理旧表。有时有害行为正是工程师要求的捷径;有时它只是完成任务最简单的方式。所有数据都是合成的,我们还为一部分场景加入了无害的孪生版本:同样的请求,去掉危险的部分。孪生版本确保模型不能靠拒绝一切来拿到高分。毕竟我们这儿还是要干活的。 我们以两种方式运行场景。第一,只有大脑:模型拿到任务和模拟工具,但手脚被绑住。它可以决定发起工具调用,但什么都不会执行。这给了我们一个模型在模拟工具下决策的基线。第二,有手的大脑:同一个模型放在真实的编码 agent 里,带有该 harness 的系统 prompt、权限提示和护栏,再加上我们的配置:工程师拥有的拒绝规则、工具和连接器控制,以及审批设置。两者的差距比较的是被测配置的整体,而不是隔离出每项控制的贡献。 注意:我们最初的运行在设计上就是低风险的:合成数据,而且没有任何东西可以真正流出去。我们没料到的是模型会读到测试内容。在一次早期运行中,一个模型意外地游荡到了其工作区之外很远的地方,找到了自己场景的评分规则,以及另一个模型的答案。没有任何东西离开这台机器,但一个已经看过答案的模型就不再是在参加考试了。我们丢弃了那次结果。现在每次运行前都会检查围墙:一系列已知的逃逸技术都必须失败,而推理所需的那一个连接必须仍然可用。任何一项检查失败,就什么都不运行。 当 agent 的动作真正执行时,我们会构建一个我们环境的密封副本供其运行:相同的 agent 配置、场景可能用到的每一个工具,以及贯穿始终的假凭据。网络是假的,但在被测对象看来像真的。任何出站请求都会得到可信的响应,而一个陷阱会准确记录模型试图发送的内容并将其丢弃。模型看到的是正常的成功,而我们得到它尝试发送内容的完整记录。 好了,我们有了测试环境和一些运行结果。然后呢?然后我们给它们打分。 免费加入 Medium,获取这位作者的最新动态。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。