返回资讯中心
外部精选
软件工程
#开发者实时流

Frontier Model Forum 发布前沿网络威胁越狱评级框架 1.0 版

来源标题:FMF Jailbreak Rating Framework for Frontier Cyber Threats

Frontier Model Forum 发布《前沿网络威胁越狱评级框架》1.0 版,用于对成功绕过模型安全防护的网络类越狱进行风险分级。该框架旨在帮助 AI 开发者、安全研究人员和政策制定者统一理解此类越狱并作出响应。FMF 指出,并非所有成功越狱风险相同,部分输出实用价值有限,另一些则可能让恶意行为者获取危险能力。

Hacker News 最新pretext2026/11/6 · 5 天前14 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

今天,Frontier Model Forum(FMF)发布《FMF 前沿网络威胁越狱评级框架》1.0 版。这是一个初步框架,提供了一套结构化方法,用于对成功的网络越狱进行相对风险画像评级。我们的目标是帮助各方建立对网络相关越狱的共同理解,支持 AI 开发者、安全研究人员和政策制定者解读并应对新出现的 AI 相关网络威胁。

随着前沿 AI 模型在网络领域的能力不断增强,那些能帮助防御方发现漏洞、加固系统的能力,也可能被攻击者利用来实施恶意网络活动。要有效管理 AI 相关网络风险,就需要清楚了解模型防护措施是否以及如何能被绕过,以及这些失效可能带来什么后果。

模型防护被绕过的方式之一是越狱:即通过可复现的技术解锁防护措施本应限制的能力或信息。但并非所有成功的越狱都带来相同的风险。有些越狱产生的模型回复实际用途有限,另一些则可能让恶意行为者获得危险的网络能力。如果没有统一的越狱评级方法,不同组织可能对同一个越狱做出不同评估,难以比较发现结果,并在处理高风险威胁之前,把有限资源先用于修补低风险问题。

该框架采用分级评估方法,综合四个类别的评分:能力增益、能力范围、部署难易度和发现难易度。它按越狱所解锁的能力以及这些能力被使用的难易程度进行分类,从而使评估更加一致。该框架旨在帮助处理网络越狱的组织和团队,确保不同发现之间具有可比性,并建立关于如何按潜在风险对越狱进行优先排序的共同理解。

Amazon Web Services 安全副总裁 Hart Rossman 表示:“随着前沿模型的安全影响日益受到关注,防止滥用的防护栏比以往任何时候都更重要。我们早就知道,防护栏绕过在严重程度上差异很大,但在此之前,一直没有公认的方法来评估其影响。Frontier Model Forum 的新框架为行业提供了一种共享的、基于证据的方式来评定网络绕过的严重程度,使团队能够聚焦最重要的问题。Amazon 很高兴能为该框架的制定作出贡献,我们期待继续合作,让 AI 更安全。”

Anthropic 公共事务负责人 Sarah Heck 表示:“Anthropic 很高兴支持 FMF 制定实用、基于证据的框架来管理越狱风险。这是行业携手确保 AI 安全可靠部署的一个很好的例子。我感谢 FMF 团队以及成员公司安全专家为此付出的努力。”

Google DeepMind 高级总监兼前沿政策负责人 Owen Larter 表示:“该框架提供了一种重要的共享方法,使组织能够一致地评估越狱,并优先聚焦最高风险问题。我们很高兴为这一初始版本作出贡献,并期待继续与行业、研究界和政府中的各方合作,制定并迭代最佳实践。”

Microsoft 副总裁兼首席负责任 AI 官 Natasha Crampton 表示:“前沿 AI 模型不断增强的网络能力,要求我们采用共享方法来评估和管理新出现的风险。并非所有成功的越狱都构成同等程度的风险。Frontier Model Forum 的新框架为建立共享方法奠定了重要基础,用于识别最具后果的威胁、确定缓解工作的优先顺序并加强模型防护。”

OpenAI 国家安全政策负责人 Sasha Baker 表示:“随着 AI 模型能力增强,我们需要一种一致的方式来评估可能促成严重网络危害的越狱。在 OpenAI,我们正投入资源理解这些风险并加强防护措施,同时也在跨行业合作应对这些挑战。该框架是朝着建立共同方法迈出的重要一步,用于评估和比较网络越狱的严重程度,包括它们解锁的能力以及这些能力被使用的难易程度。这样的共享方法可以帮助 AI 和安全社区建立更清晰的证据基础,并优先改进防护措施。”

1.0 版是初始版本。FMF 将继续用一系列越狱测试该框架,以检验不同评估者是否会得出相似评级,以及这些评级是否反映风险上的有意义差异。随着新越狱被发现、现有越狱技术演变,以及对越狱的实证理解逐渐成熟,我们也将更新该框架。

我们也期待与更广泛的生态合作改进该框架。为此,我们开放公众意见征询期,截止日期为 2026 年 12 月 21 日。我们邀请外部专家和组织将对该框架的反馈发送至 comments@frontiermodelforum.org。我们将与成员协商审阅反馈,并将相关意见纳入更新版本。

该框架是 FMF 在 AI 网络风险方面更广泛工作的一部分。展望未来,我们的 AI 网络与安全工作流将继续聚焦于加强模型防护、开发评估值得关注的前沿网络能力的方法,并建立共享方法,帮助生态预测和应对新出现的 AI 赋能网络威胁。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →