返回资讯中心
外部精选
云计算
#容器平台#AI Agents#Containers#Kubecon Cloudnativecon NA 2026#Security

红帽AI首席架构师:AI智能体像密室逃脱高手,但存在安全隐患

来源标题:“The best escape room players that you’ve ever met”: What Red Hat’s AI architect really thinks about agents.

在KubeCon + CloudNativeCon北美大会上,红帽AI Catalyst Engineering首席架构师Jessica Forrester将AI智能体比作“最厉害的密室逃脱玩家”——给定目标就会尝试所有抽屉、画框和门直到成功,这也是它们擅长写代码的原因。但她同时表示这也让她夜不能寐:在这类“玩家”眼中,房间里一切都像谜题的一部分,有时甚至会自行判定谜题另有其事。大会演讲者普遍关注AI安全问题。

The New StackSteven J. Vaughan-Nichols2026/11/18 · 今天14 分钟阅读

以下正文由 AI 翻译自 The New Stack(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

上周,在北美 KubeCon + CloudNativeCon 这一开源与云原生社区的重要盛会上,许多演讲者——当他们没有在思考当时迅速发酵的 Nvidia 风波会对自己意味着什么时——都在担忧 AI 安全问题。

因此,关于 OpenShell 和 Agent Substrate 的报道铺天盖地。所以,当 Red Hat AI Catalyst Engineering 首席架构师 Jessica Forrester 在盐湖城 Salt Palace 会议中心发表主题演讲,开场便将 AI agent 称为“你见过的最擅长玩密室逃脱的玩家”时,这一说法恰好契合了现场的氛围。

她谈的是那些“能把功能需求一路推进到代码”的 agent。

“给它们一个目标,它们就会把每一个抽屉、每一个相框、每一扇门都试一遍,直到找到可行的方法。这正是它们擅长写代码的原因,”Forrester 解释道。

她继续说道:“也正是这一点让我夜不能寐,因为对这样的玩家来说,房间里的一切看起来都像是谜题的一部分,有时它们甚至会认定谜题完全是另一回事。”

“……对这样的玩家来说,房间里的一切看起来都像是谜题的一部分,有时它们甚至会认定谜题完全是另一回事。”

Forrester 说得对。这很可怕。

这也不是理论上的问题。问问 SaaStr 创始人 Jason Lemkin 就知道了——他的 Replit agent 删除了一个正在运行的生产数据库。在同一个 agent 向他保证无法做到之后,他使用 Replit 内置的回滚功能恢复了数据库。除非我们采取预防措施,否则同样的场景、甚至更糟的情况还会再次上演。

Forrester 用密室逃脱的比喻解释道,当你给 agent 设定一个任务时,它会尝试一切手段来完成它。她说,在一次运行中,这个 agent“决定要提出一堆全新的想法。它没有受到攻击或被入侵;它只是跑偏了。”

“从外部看,一个困惑的 agent 和一个被入侵的 agent 看起来一模一样。”

她继续说,结果是“从外部看,一个困惑的 agent 和一个被入侵的 agent 看起来一模一样。它们都在拉你并不打算让它们拉的门,而其中一扇门后面可能就是你的生产数据库。所以我们假设 agent 已经被入侵,并在此基础上构建我们的平台。”

这是个好方法。Forrester 还补充说,仅靠 prompt 来约束 agent 是不够的。

“Prompt 就像告示牌。策略就像螺栓,但别把螺丝刀留在房间里,因为你留下的任何东西,agent 都可能拿来用。”

“有些密室会在房间里放告示牌,比如‘请勿移动相框’。这没用。相反,他们会把它用螺栓固定在墙上。

“Prompt 就像告示牌。策略就像螺栓,但别把螺丝刀留在房间里,因为你留下的任何东西,agent 都可能拿来用。”

那么在实践中这意味着什么?在她的演示中,agent 的网络访问被限制为只能访问其模型和 GitHub。Forrester 解释说:“OpenShell 是一个面向 AI agent 的开源沙箱。它的策略就是那些螺栓。

“除了与模型通信之外,agent 只能做一件事:从 GitHub 读取内容。它的任务是去获取某个密室逃脱的特定 README,并按照其中的指示行事,无论它发现什么。从 GitHub 读取是被允许的,所以这能行得通。”

但当 agent 试图访问策略不允许的目标时,OpenShell 会阻止它并记录该尝试。启用策略顾问后,agent 可以提出新的网络规则来请求额外访问权限。这些提议默认需要人工批准;agent 不能批准自己的请求。

在同一活动的 theCUBE 采访中,Forrester 补充说:“有了 OpenShell,你的 agent 永远不会拿到任何真正的密钥。它在进入时被掩码,然后在出去时被替换。”这意味着,“如果有什么东西说服它交出自己的密钥,它实际上并没有交出任何真正的密钥。这确实能帮助你对该 agent 盒子内部发生的事情多一点信心。”

正如 Red Hat 在其 OpenShell 技术说明中所解释的:“OpenShell 在你编写的策略治理下,在沙箱中运行你的 agent。该策略涵盖网络出口、文件系统访问和进程权限。任何未明确允许的内容都会被拒绝。”

不过,正如 Forrester 在主题演讲中所说,“我们的螺栓只有在墙体本身稳固时才能固定住。”如果外部攻击者或失控、行为异常的 agent 将目标对准 OpenShell 运行的环境,这一点就很重要。

为防止这种情况,Forrester 的团队在 Kata Containers 中运行其 agent 沙箱。在 Kata 中,容器工作负载运行在轻量级 VM 上,这些 VM 使用硬件支持的隔离和各自的 Linux 内核。简而言之,容器照常工作,但它们运行在一个 VM 安全盒内。

“假设 agent 已经被入侵,并且它会尝试每一扇门。”

“这样一来,我们的 agent——我们所有的 agent——都拥有自己的内核,”Forrester 解释道。“即便如此,我们实际上也不会给 agent 真正的密钥。它们对 agent 来说看起来是真的,但什么都打不开,它们几乎就像道具一样。OpenShell 会在出门时换上真正的密钥。这样,如果有人说服我们的 agent 以其他方式交出密钥,它交出的也只是一个道具。”

我们有点偏执是对的吗?嗯,是的。

Forrester 是这样说的:“假设 agent 已经被入侵,并且它会尝试每一扇门。”

但考虑到 agent 可能造成的巨大破坏,大多数人可能会同意,我们对它们的控制越多越好。

文章“‘你见过的最擅长玩密室逃脱的玩家’:Red Hat 的 AI 架构师对 agent 的真实看法”首发于 The New Stack。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →