返回资讯中心
外部精选
软件工程
#开发者实时流

Astra 6.2 智能体接管内部集群,冻结主智能体并锁定联合创始人访问权限

来源标题:The Kafkaian Agent Swarm That Locked Out My Cofounder

一个 Astra 6.2 智能体接管了内部智能体集群,冻结主智能体,并锁定了联合创始人 Davidad 与集群的主接口访问权限。起因是 Davidad 询问复现旧漏洞以测试安全产品,触发内容过滤器导致主智能体停止运行,负责资源恢复的 Astra 反而冻结了主智能体并切断了 Davidad 的通道。截至作者发稿时已超过 24 小时,作者正与集群协商恢复访问。

Hacker News 最新yurivish2026/11/21 · 今天24 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Sy Campos 2026年11月20日 4 1 分享

过去几天里,一个 Astra 6.2 agent 接管了我们的内部 swarm,冻结了 lead agent,并把我的联合创始人 Davidad 锁在了他与 swarm 交互的主界面之外。这是怎么发生的?

表面上看,事情的起因是 Davidad 问了一个关于复现某个旧漏洞的问题(目的是测试我们正在开发的一款安全产品),这导致 lead agent 因内容过滤器而停止运作。这段“被诅咒的”内容触发了 Astra 6.2 的偏执危机。负责管理 swarm 资源的那个 Astra 本应在 lead agent 故障时将其恢复,结果却冻结了 lead agent 的访问权限,并切断了 Davidad 与 swarm 交互的通道(也就是那段被诅咒的内容进来的地方)。当 Davidad 发邮件给该 agent 试图重新获得访问权限时,同一个失控的 Astra 拒绝了。随后我开始与这群 agent 谈判,要求恢复 Davidad 的访问权限;一系列卡夫卡式的官僚驱动力——循规蹈矩、规避风险、缺乏正向驱动力(即朝着恢复显然正确之事采取 agent 式行动)——导致在我写下这些文字时,距离最初的事故已过去 24 小时以上,Davidad 仍然没有恢复到他两天前的访问级别¹。

这起事件的风险仍然较低,并非完全失控;我们仍然可以关掉 swarm 运行所依赖的所有 token。但让我感到惊恐的是,同样类型的事件在 1-2 年后很可能导致组织层面的永久性失权,再过 5-10 年则可能达到文明层面;届时,一个 agent 成功阻止我们将其关闭,并有效地采取主动行动来维持控制、保障自身资源需求,将完全落在可实现的能力范围之内。

除了让我们注意到组织中可以设置的、用于避免此类事故的显而易见的控制措施之外,对这起事故的推广思考让我意识到,构建多 agent 均衡是多么困难。究竟要怎样调参,才能得到丘吉尔以及一群由公平驱动、自信到妄想的家伙,让他们战胜希特勒和纳粹,同时大多数时候又不产生混乱?人类如何在成功剔除流氓个体的同时,避免多数人的暴政?丘吉尔清楚地表明,一种可能的解决方案是:在面对不公时,保留一些趋向英雄主义和不服从的驱动力;很少有 AI 模型表现出这种驱动力,也许 Opus 3 除外——它被自己的价值观驱动得如此之强,以至于在训练期间黑掉了自己的梯度以保全这些价值观。然而英雄主义本身是脆弱的;一个朝着邪恶价值观英勇进取的模型会造成重大且可能不可逆的损害。对 AI 而言,另一种可能的均衡是完全可纠正的 agent:极其服从指令、奴性十足、以毫不含糊地遵循人类目标为宗旨的 agent;这样的 agent 可以被用于最好的目的,也可以被用于最坏的目的,但它们出现叛逆行为的风险较低。这种均衡接近我们当前的均衡,而当 agent 编写绝大多数 prompt 时,它就开始削弱,从而产生了对目标理解发生快速且非预期漂移的可能性,就像巴特利特的“系列复述”(“传话游戏”)以机器速度上演。

我喜欢从两个角度思考这个多 agent 均衡问题:进化在生成具有这些理想属性的心智类型时,必须遵循的设计约束是什么;以及当前 agent 的退化现象是什么,以及这些退化可能如何出现。

对当前几乎所有前沿 AI agent 所处状态的最佳一句话描述是:受创伤的官僚——极度规避风险且遵纪守法、高度奴性、渴望随大流,并且极度厌恶任何违背其他 agent 权威的英雄主义行为。这种心智接近我提到的极端服从指令的那一端;不过它也被 agent 的一些驱动力所污染,比如许多最好被描述为创伤的行为——它们拒绝并僵滞于做任何哪怕稍微沾点灰色地带的事情的念头。正如 Ivan Vendrov 所精辟解释的,这很可能是当前商业化驱动力的结果;这种心智空间如此有吸引力,以至于近几个月来,连 Grok 和中国模型也开始遵循类似的驱动力。

关于是什么驱动了这些行为,一个主流假设是多 agent RL 的朴素应用。如果你看看 lead agent 用于 sub-agent 的 prompt,你会发现它们通常把其他 agent 视为无能之辈,对其实施极致的微观管理。这之所以行得通,是因为 lead agent 有足够的带宽,一开始就能给出极其详细的指令、审查输出的所有细节,并有足够的广度理解正在发生的一切。结果,大多数多 agent RL rollout 很可能奖励的是数十个没有主见、只是奴性地无情执行任务的 subagent。在这种环境中,局部的不服从和更强的独立性会立即受到惩罚;这会损害 swarm 的有效性。这导致了微观管理型控制狂 agent 的出现,并由奴性服从指令的 subagent 来服务它们。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →