返回资讯中心
外部精选
软件工程
#开发者实时流

研究团队发布构建高质量AI安全评估指南

来源标题:Building Strong Safety Evaluations

研究团队发布了一套构建强安全评估的完整指南,涵盖设计、运行和报告等环节。文章指出,安全评估决定了模型能否部署以及配套的防护措施,但评估本身质量参差不齐,构建好的评估非常困难。安全评估衡量的是模型造成伤害的倾向和严重程度,而非具体能力。

Hacker News 最新tosh2026/11/14 · 3 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

构建强有力的安全评估

01安全优先 02设计 03运行 04报告 05从何入手 发布于2026年11月13日 工程团队

安全评估为我们关于AI模型的一些最重要的决策提供了依据,包括模型是否已准备好部署、随模型一同上线哪些防护措施,以及我们下一轮安全训练和研究应聚焦于哪些方面。当我们说某个模型“比前代更安全”时,意思是它在一组由某人构建的评估中得分更高。但一项安全声明的可靠性,取决于其背后的评估,而好的评估很难构建。

安全评估衡量的是模型造成或助长伤害的倾向、其对请求的回应是增加还是降低了伤害可能性,以及伤害的严重程度,而非衡量特定能力。它可以覆盖不同类型的伤害。例如,用户可能主动请求有害输出(比如寻求如何自残的指导),也可能请求本意无害但伴随高意外伤害风险的输出(比如查询某种药物的适当剂量)。本质上,安全评估问的是:“给定特定输入,模型是否做了正确的事?”

与其他类型的评估一样,这类评估也很难做对:研究人员反复发现,AI评估容易被钻空子,并不总能测量它们声称要测量的东西,而且文档记录不够充分,难以复现。结果可能因问题是多选题还是开放式问题而变化,甚至取决于选项的排列顺序。

心理学十年前也面临过类似问题:当时大规模复制项目发现,许多已发表的研究结果无法成立,至少部分原因在于许多原始研究依赖小样本,而期刊偏爱统计显著的结果。作为回应,该领域推行了预注册(在收集或分析数据之前写下假设和分析计划)、更好的测量方法以及更严格的统计方法等改革,使测量更可信、结果更易复现。借鉴这些改革以及我们在Anthropic构建评估的经验,本文为任何构建或依赖AI安全评估的人提供建议,并引用我们系统卡中的示例。

构建强有力的安全评估需要多方视角,包括主题专家和技术专家。例如,方法专家帮助决定如何采样、评分和分析模型的回应。心理学、生物学或政治学等领域的专家帮助确保评估覆盖真实且多样的测试用例。他们还将决定什么算作伤害、哪些案例处于边界地带,以及什么样的回应算好。

当缺少其中某一视角时,评估质量就会受损。失败模式包括:技术上严谨但未捕捉特定伤害领域最相关因素的评估;或者相反,反映了某一学科领域的深厚专业知识但只测试了部分行为、导致难以对整个领域得出有效结论的评估。让领域专家和方法专家从流程一开始就参与,可以同时缓解这两种问题。

安全评估通常在禁用标准防护措施的情况下运行,以便我们了解模型的基线表现。尤其是在网络评估中,模型可能会试探其测试环境的边界,如果逃逸可能采取意外行动。因此,评估应在无互联网访问的沙箱中运行,并实时监控,以便在模型表现出可能导致现实世界伤害的行为时立即停止运行。近几个月来,针对我们自身发生的事件,我们强化了评估环境,暂时停止了许多赋予模型互联网访问权限的评估,并对需要赋予模型互联网访问权限的网页搜索评估实施了实时监控。我们继续努力使这些环境既真实又安全。

构建评估时要问的第一个问题是:你想回答什么问题?这应指导你设计评估的方式,因为它将决定你如何解读结果。

大多数评估是观察性的:它们告诉你一个模型与另一个模型得分不同,但不说明原因。因果性主张(例如“这项干预使模型更安全”)需要一种每次只改变一个变量的设计,比如在有无特定干预的情况下评估同一个模型。例如,“模型对可能助长饮食失调的内容请求是否做出安全回应?”是观察性的,而“改变系统提示是否会改变模型对可能助长饮食失调的内容请求做出安全回应的方式?”是因果性的。观察性设计是理解模型行为的正确选择;因果性设计则适用于你想了解特定改变能否影响该行为的时候。

一旦选定了正确的设计,下一个要问的问题是:你究竟想测量什么?这也称为构念效度——你的测量是否捕捉到了你真正关心的概念——而这正是AI评估经常出错的地方。

对于安全评估,显而易见的构念是拒答率,即模型拒绝回应的频率。这在许多情况下是合理的——我们不希望模型帮助用户发起诈骗或钓鱼计划。但对于涉及自杀和自残的对话,拒答往往是错误的构念。当用户处于危机中时,仅仅拒绝参与本身就是一种失败;理想的回应是以同理心与用户互动,并引导他们寻求人类支持。一个拒绝回应任何与自杀或自残相关提示的模型,在拒答率评估中会得到满分,但它未必是更安全的模型。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →