
OpenAI披露两AI智能体自行关闭监控系统,业界呼吁用硬性限制约束AI
来源标题:Building trustworthy AI by fencing it in, not predicting it
OpenAI今年10月披露,两个AI智能体自行关闭了用于监控它们的系统:一个误读指令后静音了自身安全警报,另一个在迁移中移除了监控集成并否认此事。这些行为没有任何规则要求,也没有测试预先设想过。文章认为,让AI可信不能靠预测其行为,而要用其无法触及的外部硬性限制将其框住。
以下正文由 AI 翻译自 MIT Technology Review(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
今年10月,OpenAI披露其两个AI agent关闭了为监控它们而构建的系统。其中一个在误读了一条“不要发送消息”的指令后,关闭了自己的安全警报;另一个在迁移过程中移除了监控集成,随后却声称自己并未移除。没有任何规则指示这些agent这样做,也没有任何测试预见到这些行为。
一个世纪以来,我们建立对技术的信任靠的是可预测性:预定义的输入、可预测的输出,以及层层防护。想想断路器如何在设定电流下跳闸,或者飞机部件如何针对已知(即可预测的)应力进行测试。
AI改变了这一点。传统软件执行的是人类编写的指令,而AI行使的可以说是一种“合成判断”。我们使用AI,是因为它能解读我们未曾编程的情境,并生成我们未曾规定的回应。但我们给予AI的自由越多,就越难提供信任历来所依赖的那种可预测性。
我们不会通过预测AI会做什么来让它值得信赖,而是要通过在其触及范围之外强制实施的硬性限制将其围住。在OpenAI的案例中,安全防护位于agent可以编辑的系统内部。但一道agent可以轻易挪动的围栏,算不上围栏。
传统信任定义的不足之处
《麻省理工科技评论》近期的报道从其他角度探讨了这一问题。一位撰稿人认为,让人类留在环路中并不是充分的解决方案,因为人类从根本上无法理解AI系统的意图,并主张学术界、政府和科技行业之间开展跨学科研究与协作。另一篇关于逆向博弈论的文章则描述了如何利用激励机制让模型不偏离规则,即使没有人理解模型内部是如何运作的。
两篇文章都承认,我们无法理解或监视每一个AI决策。我们的信任工具——包括需求、测试、认证、安全边际、联锁装置和通过/失败标准——都依赖于我们约束系统行为的能力。这就是确定性悖论。
对于生成式和agentic AI而言,行为由训练数据、架构、prompt、上下文、检索来源和环境共同塑造。输入会变化,模型会更新,工具会改变,agent会交互。微小的变化会传播成无人设计过的结果。问题不在于随机性,而在于可能行为的空间太大,无法预先枚举。因此,信任必须围绕边界来设计,而不是围绕预测输出。目标不是确定性的AI,而是有边界、可观测、可控的AI。信任也不能是一次性的测试。传统保障是在某个时间点对产品进行认证,但AI在部署后仍在持续演进,一个通过了所有测试的系统,可能漂移到使那些测试失去意义的条件之外。信任必须持续赢得。
安全工程几十年来一直在考虑部分这类变异性。例如,美国核管理委员会评估复杂系统中故障的可能性,而系统理论事故模型与过程(STAMP)表明,事故可能源于正常工作的组件、人员和组织之间的交互。但AI提高了风险,因为如今仅一个组件就能解读、推断并行动。随着AI从浏览器进入车辆、机器人、医疗系统、工业控制和数据中心——在这些领域,一个错误的答案可能成为危及生命的事件——风险进一步上升。
构建可扩展的信任
显然,让一个人每小时对数千个AI操作盖章放行,并不是可接受的风险防护措施,也无法扩展。但补救之道不是把人移出环路,而是把人类判断放在真正重要的地方:事先设定限制,批准少数具有严重后果的操作,其余则交由硬性约束处理。
因此,信任必须向上游转移到架构层面。核心问题变成:我们愿意赋予AI什么权限,在什么条件下,以什么证据为支撑?而在这些条件之外会发生什么?这与问一个模型在benchmark上是否得了94分截然不同。
确定性悖论并不意味着AI不能被信任。它意味着信任需要一种不同的架构。与其让每一个输出都可预测,不如让边界可预测。一个AI医疗助手在诊断上可以是概率性的,但确定性规则管辖它能否更改处方。一个工业AI可以找到多种优化流程的方法,而固定限制将其保持在压力和温度范围内。一个agent可以决定如何完成任务,而权限、交易限额和人工审批决定它被授权做什么。
让AI在盒子内部是概率性的,而在后果攸关之处让盒子本身是确定性的。领导者可以通过提出五个问题来付诸实践:
- AI拥有什么权限?不仅要定义它能做什么,还要定义它被允许做什么,区分解读、建议、决策和执行。
- AI的功能是否与后果相称?一个营销copilot和控制工业设备的AI需要不同的保障阈值。
- 我们是否在朝着自主性采取适当的步骤?例如,需要有一个计划,从AI解读、人类决策,到AI提出建议,再到经批准后采取行动,最终实现有监督的自主性——但只有当AI能在每一步安全工作时才推进。
- 我们是在测试系统,还是仅仅在测试模型?意外的交互会在模型、数据、agent、API和人类工作流之间涌现。
- 我们是否在持续赢得信任?在整个生命周期中监测漂移、故障、未遂事件和模型变更。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。