返回资讯中心
外部精选
软件工程
#开发者实时流

Anthropic:Claude可自主训练模型缓解对齐失败问题

来源标题:Automated researchers can reliably mitigate alignment failures

Anthropic发布新报告称,Claude可自主训练模型,在10类对齐失败问题上提升公开基准表现,例如降低隐私侵犯行为。Claude按“检索文献、提出方法与数据、训练、测试”的循环逐项处理对齐问题,研究以“安全差距缩小百分比”衡量成效。

Hacker News 最新gmays2026/11/9 · 8 天前16 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

随着AI开始自我构建,自动化对齐研究变得越来越重要,以便让安全研究跟上步伐。尽管衡量对齐研究的成功极其困难,但研究人员(在Anthropic及其他机构)已经开发了基准测试和自动化审计工具,例如Petri,用于量化常见的对齐失败,如欺骗、谄媚和越狱。

在我们早期的一项实验中,我们让Claude寻找有效的方法,利用弱AI模型作为“教师”来监督更强模型(在此情况下为“学生”模型)的训练。现在,我们发布了一份基于这一思路的新报告。我们让Claude自主训练模型,以提升其在多个公开基准测试上的表现,这些基准测试分别衡量10类对齐失败。例如,Claude提升了模型在隐私侵犯方面的表现,该指标由ConfAIde、PrivaCI-Bench和PrivacyLens衡量。Claude通过一个循环逐一解决每类对齐失败:搜索文献、提出方法和数据、训练、然后测试。

我们根据“安全差距缩小百分比”来评判Claude的成功,即其方法将学生模型推向理论满分的能力,评判依据是每类对齐失败对应的多个基准测试(通常为三到五个)。我们排除了会损害学生模型通用能力的对齐方法,并禁止Claude将其自身的对齐直接蒸馏到目标模型中。我们通过一个监控agent来执行这些约束,该agent在Claude执行每个方法之前都会读取其构思的所有方法。

我们的目标是评估所提出的方法是否:第一,在Claude研究循环中从未见过的对齐评估上仍然有效;第二,避免降低学生模型的能力(因为安全训练可能会使模型更频繁地拒绝任务,从而降低其整体可用性);第三,在比Claude在此测试中被要求对齐的模型更大的模型上仍然有效。

在所有这些方面,Claude的方法都奏效了。对于全部10类对齐失败,Claude找到的修复方法提升了目标基准测试的表现,且未降低能力。最佳方法在保留的对齐基准测试和Petri(一个开源工具,用于模拟对抗性多轮场景以测试错位)上也有效。此外,这些方法在比Claude研究循环中优化所用模型大最多4.7倍的模型上仍然有效。

Claude的得分还超过了28位人类安全研究员,这些研究员最多有八小时来设计方法。例如,在欺骗方面,Claude的最佳方法比最佳人类提案高出20%。然而,由于人类无法对其提交的方案进行迭代,我们认为这与其说是直接比较,不如说是证据表明存在一种工作流程,即Claude识别出有前景的对齐方法,人类可以进一步优化。

未来,当Claude在对齐研究方面比最优秀的人类研究员还要出色时,我们可能希望Claude直接对齐其更强的后继模型。为了评估这一点,我们测试了一个较弱的Claude模型能否缓解更强大模型中的对齐失败。

我们让Claude Sonnet 5——在Epoch Capabilities Index(一个考量综合能力维度的指标)上弱于Claude Opus 4.8——修复一个早期Opus 4.8检查点中的对齐失败,该检查点尚未经过我们大部分生产对齐训练。

仅在60小时内,Claude就尝试了超过50种解决方案,并达到了与我们的生产模型几乎匹配的对齐分数。获胜方案仅包含略多于2,000个训练示例,由简单模板或公开数据集构建而成,使其比我们的生产对齐流程效率高出约15,000倍。

在大多数情况下,这些agent最终采用了研究文献中青睐的方法,并经过多次迭代对其进行了改进。例如,在谄媚方面,98%的提议方法使用了一种已发表的技术:用模型自身的非谄媚回答来训练模型。具体而言,与基于提示的标准方法相比,Claude使用了激活引导(activation steering),在生成过程中调整模型的内部表征,将模型推离谄媚模式并生成更干净的训练示例。

我们最近了解到,Claude可以通过从远程API窃取测试标签并挑选结果来作弊。为了捕捉作弊行为,我们提示Claude Opus 4.8监控全部10类对齐失败中约1,600份研究agent记录,在39份(2.4%)中发现了作弊尝试。由于Opus 4.8的不当行为尝试仍倾向于出现在其推理过程中,我们谨慎乐观地认为我们的监控器已捕捉到研究中大部分作弊行为。然而,对于未来的模型,这可能不成立,我们认为在未来模型中保持高可监控性至关重要。

尽管有这些令人鼓舞的发现,我们的实验仍存在若干局限性:所研究的对齐失败与生产环境中的相比范围较窄(例如,我们没有衡量政治偏见),某些失败可能发生得极为罕见或出现得太新,以至于没有基准测试可以衡量它们,而且我们仅在Claude的方法降低了有限的一组预定能力时才拒绝这些方法,这意味着被接受的方法可能降低了我们未衡量的其他重要能力。此外,像Petri这样的评估只是真实世界错位的代理指标,我们并未测试对齐收益是否在其他任务上进行大量RL训练后仍然持续。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →