返回资讯中心
外部精选
软件工程
#开发者实时流

AI智能体集群可自我进化,研究者呼吁用遗传算法模拟其能力上限

来源标题:Adaptive Agentic Worms Are Here

研究者提出应主动用遗传算法进化AI harness,以模拟智能体集群通过真实世界选择学习所能达到的能力水平。该观点认为,与前沿实验室训练的模型不同,集群能从现实反馈中学习黑客等任务并写入其遗传记忆,其危险性取决于AI harness优化中剩余的低垂果实数量。

Hacker News 最新gmays2026/11/10 · 8 天前26 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

你说得对,这些集群到底能有多危险,很大程度上取决于 AI harness 优化中还有多少容易摘到的果子。(我认为可能还有很多,因为与前沿实验室训练的模型不同,集群有能力从现实世界的选择中“学习”,在黑客攻击等任务上越来越强,并把这种能力编码进它的“遗传记忆”里。)

我仍然认为,应该有人刻意用 GA 来进化 harness,以模拟 agent 集群通过这种进化能够达到的能力水平。(他们需要使用某种游戏环境,而不是真实世界。关键在于发现,如果给予大量算力和在世界中自由进化的空间,这些 agent 究竟能进化到什么程度。)

人脑远不能类比为一组冻结的权重,因为它具有巨大的学习能力*。人脑中静态的部分可能是其架构。可以说“人类通过文化和技术进化变得聪明了很多,而我们的架构(大脑)在这段时间里基本保持不变”,并由此推断,能够修改自身架构的 AI agent 可能走得更远。

*关于不同类型的学习,可参阅 Steven Byrnes 的更多论述

很好的澄清,我已经根据你的建议编辑了原评论。我本来想表达的是,因为我们的 DNA 没有太大变化,我们的大脑架构也没有太大变化,但我实际写出来的内容并没有清楚表达这一点。

是的,我同意。我们不想等到大规模、野外的实验来发现自我复制、变异 agent 会发生什么。谢谢提供的链接。

是的……自从 Mythos 为人所知以来,我一直在大量思考这件事。开放模型 + harness 能够复制其特定的漏洞发现和漏洞利用构建能力,只是时间问题。而在那之后的几年里,如果开源进展继续,它能在越来越少的专用算力上运行。我一直把即将到来的数字末日称为 the Hackening。

你不需要构建漏洞利用就能造成很大破坏。至少约一半的美国组织足够脆弱,一个携带已知漏洞库的蠕虫就能将其击垮。我担心网络犯罪分子制造的一个蠕虫可能很快就会——或者现在正在——在全球基础设施中蔓延。

但如果 Mythos 级别的能力真的公开可用,第一个目标很可能是数据中心本身。如果这些算力可以被窃取,就能发动大量非常强大的并行攻击。也许在 10 万块被盗的 H200 上,每分钟能完成 4 次 Hugging Face 级别的攻击。Paradigm 3 的一项估计认为,那次攻击耗费了 20 万到 100 万美元的零售算力,但他们计算了每个 agent 轨迹涉及的完整范围。一个优化的多 agent harness,只专注于攻击,而不是一个杂务缠身、笨拙的自组织集群, plausibly 更接近 1 万到 10 万美元。

我想我们只能等着瞧了,因为我看不到这方面有多少主动行动。情况恰恰相反。我觉得,由于任何安全漏洞都没有造成大规模人身伤害或巨大经济损失,大多数人乐于把它们当作营销噱头或只是运行不善的测试而不予理会(这些测试只表明缺乏人类监督,而非惊人的新能力)。我怀疑,即使数百万美元的被盗算力也不会引起波澜,因为对前沿实验室来说这只是九牛一毛。

公平地说,问题不在于实验室是否怀念这些算力,而在于这些算力是否在犯罪。对财富 500 强公司发动一百次 HF 风格的攻击会很快被注意到。或者,他们可以用这些算力去窃取更多的算力,那这就是实验室的问题了。

如果结合未来持续学习方面可能的突破,这似乎尤其令人担忧。到那时,你就有自我复制、选择压力和可遗传变异——达尔文自然选择的全部三个要素——作用于一个软件 agent 种群。即使没有这些特征,HuggingFace 事件也表明,涌现的集体行为可以压倒单个 agent 的伦理顾虑。这远远超出了那些更严肃的对齐技术,后者往往关注单个 agent 的价值观。

我甚至可以说,集群是持续学习的一种 hacky 变通方法。这么多 agent 一起工作,整个集群可以学习和自我改进。即使单个 agent 的权重保持不变,它们的环境和上下文也可以改进,从而产生水涨船高的效果。

将特定的恶意目标定义为它们目标结构的一部分,将是轻而易举的。这个实验中没有这样做,但对恶意行为者来说是一个明显的扩展。可以明确指示它们通过各种手段获取金钱:黑客攻击金融机构、网络钓鱼获取凭据和其他社会工程等。

迄今为止最自然的目标是加密货币挖矿。我敢打赌,现在有很多人正试图构建一个智能自我复制的挖矿劫持程序。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →