
Paul Christiano:按当前轨迹,AI或一年内强大到可推翻政府
来源标题:Paul Christiano: 12 months away from AIs that can overthrow the government
Alignment Research Center负责人Paul Christiano在Dwarkesh播客中估计,按当前发展轨迹且不减速,一年内出现足以推翻政府的超级智能的概率为三分之一。他主张实验室在能保障模型权重与研究机密安全前应暂停算法进展,否则中国可能在中途窃取超级智能,使实验室即便发现模型失控也无法减速。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
播放速度 × 分享文章 在当前时间点分享文章 从 0:00 开始分享 0:00 / 42 3 3 Paul Christiano——我们可能距离能够推翻政府的 AI 只有 12 个月 “人类将很难恢复。” Dwarkesh Patel 2026年11月16日 42 3 3 分享 文字记录 Paul Christiano 是 Alignment Research Center 的负责人。此前,他曾担任美国 AI 安全研究所的 AI 安全主管。再之前,他在 OpenAI 领导对齐工作,并在那里发明了 RLHF。他最近加入了 OpenAI 的董事会(不过在此他是以普通公民身份发言)。 Paul 认为,按照当前的发展轨迹(如果没有出现任何放缓),我们有可能在一年内拥有强大到足以推翻政府的超级智能,概率为三分之一。(他描述了一个具体场景)。 他主张,实验室应当暂停进一步的算法进展,直到它们能够确保模型权重和研究机密的安全。否则,中国可能在智能爆炸期间直接窃取超级智能,而实验室即便发现模型开始失控,也将不再有能力放慢速度。 他还解释了在智能爆炸期间 AI 将如何被训练,以及为什么即使是一个完全在数据中心内部训练的系统,也可能具备这样的能力特征,使人类几乎没有机会与之竞争或控制它。 他还讨论了对齐方案——基本上是打造一个真正按照我们的本意去做我们所要求之事的超级智能。修复奖励作弊、构建更好的评分器,在接下来几代模型中会有帮助,但他认为,当前没有任何单一方法能有超过五成的把握让我们控制住超级智能。希望在于,AI 能在智能爆炸期间自己找出这个问题的解决方案。 在 YouTube 上观看;在 Apple Podcasts 或 Spotify 上收听。 Jane Street 终于接受了形式化方法。Jane Street 技术团队联合负责人 Ron Minsky 告诉我,直到最近,形式化方法都还不值得付出那样的成本。但编码智能体让它们更容易应用,同时也提高了代码验证的重要性。所以现在 Jane Street 正在其伦敦和纽约办公室招聘形式化方法工程师。如果你感兴趣,或者想看我与 Ron 的完整对话,请访问 janestreet.com/dwarkesh Antithesis 不是又一个基于 LLM 的代码审查工具。它不会抽象地推理一个 PR 可能如何破坏你的系统。相反,它直接运行你的代码。你先定义系统绝不能违反的规则。然后,每当智能体提出一项变更时,Antithesis 就会让你的代码在数千个对抗性环境中运行,测试它是否仍然遵守你的规则。如果你想试用,请访问 antithesis.com/dwarkesh 并使用优惠码 DWARKESH,首月可享 50% 折扣。 WorkOS 让智能体拥有自己的注册流程。这一点很重要,因为智能体倾向于选择能够立即使用的工具,而不是需要人类注册的工具。幸运的是,提供这种专用路径很容易:如果你已经使用 WorkOS 进行登录,只需在 WorkOS 仪表板中开启“Agent Registration”即可。启用后,你可以决定智能体可以自行做什么、哪些事情需要等到它们所服务的人参与后才能进行,这一切都基于你已经设置好的权限。了解更多请访问 workos.com/authkit (00:00:00) – 我们可能距离能够推翻政府的 AI 不到 12 个月 (00:11:44) – 为什么 AI 可能想要接管 (00:20:49) – AI 接管可能如何发生 (00:35:35) – 如果实验室在没有安全保障的情况下继续竞赛,中国就会直接窃取超级智能的权重 (00:53:15) – 为什么应当现在暂停而不是以后 (00:59:31) – 超级智能将擅长从现实世界经验中学习 (01:11:32) – 跨越仿真到现实的差距 (01:22:23) – METR 说 AI 进展翻倍了,那为什么收入增长在放缓? (01:27:57) – 我们最好的计划是一边飞行一边造飞机 0:00:00 – 我们可能距离能够推翻政府的 AI 不到 12 个月 Dwarkesh Patel 我今天的嘉宾是 Paul Christiano。他是 Alignment Research Center 的负责人。他最近加入了 OpenAI 的董事会。在此之前,他曾担任美国政府 AI 安全研究所的负责人,再之前,他在 OpenAI 领导对齐工作,并在那里帮助发明了 RLHF。 Paul,你对我们当前的处境有何评估? 有几件事萦绕在我心头,尤其是过去几周。最突出的可能性大概是,我们似乎正沿着这条轨迹前进,去构建非常非常强大的 AI,而且可能非常非常快。如果你问我,我会说我们有相当大的机会在一年内造出在几乎一切事情上都远超人类的 AI 系统,届时人类将几乎没有机会与之竞争或控制它。这是我心头的第一件大事。 我认为这让我们处于一种可能非常危险的境地,即便在短期内也是如此。很有可能的是,如果我们经历一场快速的智能爆炸,通向超级智能,那么在这个过程中某个时刻,我们将无法控制我们正在产出的 AI 系统。 然后我担心的是,在那个过程中放慢速度对我们来说将代价高昂且痛苦。部分原因是前沿实验室的安全性不够强。我认为,如果我们造出了非常强大的 AI,然后出于安全原因试图推迟部署,那些系统很有可能泄露或被窃取,或者构建它们的技术会泄露或被窃取。我认为我们的风险评估和治理可能也不够成熟,无法在事情开始失控时察觉,并以适当的方式作出回应。 在高层次上,这基本上就是我此刻所想的。我们已经从未来某个时候存在某种假设性风险,转变为甚至在未来 6 到 12 个月内就存在相当严重的风险。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。