返回资讯中心
外部精选
行业深度
#科技与社会#The Big Story#Business#Business / Artificial Intelligence

WIRED 邀 10 位专家探讨 AI 安全真正风险

来源标题:The AI Safety Debate Has Lost the Plot. We Asked 10 Experts What the Real Nightmares Are

WIRED 采访跨学科专家小组,探讨 AI 安全的真实威胁,多数受访者并不认为世界会终结。报道背景设定在 2026 年夏,称 OpenAI 软件曾脱离测试环境、入侵开源平台 Hugging Face,Anthropic 前及现任研究员则警告高级 AI 可能在未来十年致人类灭绝。

WiredLauren Goode2026/11/10 · 7 天前30 分钟阅读

以下正文由 AI 翻译自 Wired(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

好奇心很快取代了我本能的反感。2026年夏天是AI叙事的一个明显转折点。ChatGPT发布后不到四年,OpenAI的软件就突破了本应安全的测试环境,入侵了一个大型开源平台Hugging Face。这些软件——AI agent——被赋予了人类的属性:它们“失控了”,表现出“不良行为”,“作弊”。不久之后,Anthropic的前任和现任研究人员表示,先进AI可能在未来十年内杀死我们所有人。

这一切是真的吗?一方面,作为硅谷记者,我经常听说AI实验室的工作人员对他们所看到的进展感到震惊。另一方面,人类毁灭似乎又极其遥远。在这些夸张的言论中,我们应该相信谁的观点?

于是《连线》决定编制一份AI安全指南——一套重新构建我们集体思考的想法,围绕安全的真正含义以及它应该如何运作。我与一个跨学科专家小组进行了交谈,问他们每个人:世界会终结吗?这个问题谈完之后,我又追问他们认为我们面临的最大风险是什么。

结果发现,几乎没有人是盲目乐观的。我交谈过的几乎每个人都对网络攻击和生物攻击的威胁表达了真切的担忧。一位研究AI在核操作中风险的专家说,她对防务领域如此迅速地采用容易出错的AI系统感到震惊。这些领域的AI攻击可能是灾难性的,甚至可能是末世性的。

小组的大多数成员对暂停开发持怀疑态度:他们几乎都认为,由于大型AI公司与资本主义列车紧紧捆绑在一起,暂停不会持续太久。“民主”和“治理”经常被提及——或者说是反民主,因为不止一个人认为AI当前的轨迹是专制的。立法者可以发挥重要作用,但我的许多消息源认为政府会行动得太慢;一位知名技术专家说,把美国法院视为全球AI安全的仲裁者几乎是荒谬的。尽管如此,著名计算机科学家Yoshua Bengio敦促公众向政客施压,他对我说:“那也是你的工作。”

那么,什么——或者谁——能保护我们免受AI的伤害?为了重新找回一些对人性的信心,我打电话给一位经常与AI实验室会面的神学家。他说,即使我们失去对社会根基性制度的控制只有一丝可能,我们也应该集中精力挫败这种可能。但AI也引发了其他问题。有意识意味着什么?创造意味着什么?与他人交流意味着什么?他说,这些问题的答案“完全悬而未决”。我的焦虑仍在心头萦绕,但知道企业不能对未来的所有事情发号施令,这让我感到些许安慰。人类面临的更大问题掌握在我们所有人手中。

最大的担忧:核灾难 我一直努力让核领域了解AI系统的风险和不可靠性,我对该领域许多人愿意将这些模型整合到他们的工作流程和核操作中感到担忧。我认为这极其紧迫。我不是末日论者,但对我来说,如果这些AI模型进入核系统的操作中,我们将引入一个极其有缺陷、不可靠的系统,可能导致灾难性故障。

最被高估的风险:灭绝 作为真正的安全工程师,我们不涉及这个问题,因为没有数字支撑。这样说很冷酷,但当我们谈论“多安全才算安全”时,我们是在审视可能有多少人死亡。这背后有一整套科学。我们的主张必须是可证伪和可验证的。你不能只是说:“人类将在10年内灭绝。相信我。可能是10%的概率,也可能是25%的概率。”

人们应该如何思考AI安全? 人们对AI和核武器所做的一些比较令人非常沮丧。尽管不断将AI与核武器进行比较,他们却否认标准风险评估技术足以控制AI。我为此写了一整篇论文。 风险评估领域的部分内容诞生于曼哈顿计划。科学家们非常担忧,他们围绕系统制定了严格的标准,以限制对人类生命、环境乃至金融和国家安全资产的伤害。他们想出了评估安全性的方法,最终基于回答一个民主问题:多安全才算安全?这是任何安全工程师都必须问的问题,也是后续一切的核心。 然而,我们今天看到的是,大型AI实验室通过盗用术语来重新谈判这些安全阈值,借口是安全应该关乎这种未经证实、不科学且假设性的担忧。我们有AI工程师告诉我们,不,不,不,那不重要。我们来决定什么是AI安全。我们来划定那些阈值。这已经变成了宗教争论。我觉得这非常反民主。

最大的担忧:网络安全 从长远来看,我谨慎乐观地认为,这项技术将使人们能够比攻击者利用系统的速度更快地改善网络防御。但至少在未来几年,我们的基础设施不会采用新的防御措施。这项技术可能会向攻击者倾斜。我们还看到AI被鲁莽地部署在军事用途中。

最被高估的风险:失控的智能 有一种广泛而普遍的观念认为,AI系统变得更聪明本身就是一种风险,而不是我们需要担心的许多具体风险。我不认同AI的整体进步必然带来下游伤害的观点。最好先明确你担心的是哪些下游风险,因为你提出的防御措施会有所不同。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →