用你自己的假设估算2100年前人类生存风险
来源标题:Prep for p(doom) with your own assumptions
一项估算将2100年前各类特定灾难的发生概率按“前提链相乘”方式拆解,其中AI相关风险分为失控与权力集中两种机制。多数条目采用Existential Risk Persuasion Tournament的结果,即约五年内超过10%人类死亡;两项AI条目则统计永久性失权。各条目前提相互条件依赖,将某一前提设为0%即可关闭其下游风险。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
估算的是什么。每一行是到2100年发生某种特定失败的概率——按出错的具体环节命名,而不是笼统地标为“末日”。多数行采用存在性风险说服锦标赛(Existential Risk Persuasion Tournament)的结果定义:约五年内超过10%的人类死亡。两行AI则改为计算永久性失权:Carlsmith提出的失去控制的结果,以及权力集中导致的锁定(Forethought;Kulveit等)。由于结果定义不同,各行之间可比的是“这种特定糟糕未来发生的概率”,而不是相同的死亡人数。
每个风险如何构建。每个风险是一串前提相乘。第一个之后的每个前提都以上一个前提为条件,因此乘积就是整条链发生的概率;具体乘法显示在每个类别下方。把某个前提设为0%,所有依赖它的结果都会归零。AI按情景文献区分的两种机制拆分:失控系统/失去控制(Carlsmith;Hendrycks等2023)与权力集中(Forethought的政变与Kulveit等的渐进式失权,二者共享同一个前提:AI取代人类劳动力)。AI被用于生物武器和网络攻击的滥用最终导致大流行或电网瘫痪,因此它作为这些前提的明确输入,而不是单独一行。
默认值从何而来。只有失去控制这条链遵循已发表的分解:Carlsmith的《Is Power-Seeking AI an Existential Risk?》(2022,至2070年)。其默认值保留了他对对齐难度、权力寻求和升级的数值,但把2100年前系统被建造出来的概率设为85%、协调失败设为60%,而他分别是65%和80%。权力集中这条链以具名情景为依据——Forethought(2025)、Kulveit等(2025)、Christiano(2019)——但这些都没有公布概率,所以其默认值是示例性假设,并已标注;请把这一行看作“需要哪些条件成立”,而非专家估计。其他链是为本站组装的;其默认值经过挑选,使每个结果落在该风险的已发表区间内,例如核灾难为6%,而存在性风险说服锦标赛为4–8%。“其他人怎么说”下标注“全链风险”的数字是对整个风险的估计,而非对单个前提的估计,仅供比较。另请注意单链模型掩盖的权衡:让对齐更容易会降低失去控制这一行,但可能提高权力集中这一行,因为听话的AI是夺取权力的更好工具。
合计概率。按1 − (1 − 风险一) × (1 − 风险二) × … 对五行计算,即把它们视为独立。但它们并不独立:共享前提会同时推高多个风险,且一个事件可能被计两次,例如一场同时导致电网瘫痪的核战争。这两种效应都意味着合计数字很可能高估了至少发生一场灾难的概率。
准备措施排序。每项行动对每个风险有一个权重:2表示帮助很大,1表示有帮助,0.5或0.25表示有一点帮助。权重是本站的判断,参考了Ready.gov、芬兰的72小时计划、约翰斯·霍普金斯健康安全中心、Boyd与Wilson(2023)、Benjamin Todd、Zvi Mowshowitz和John-Clark Levin。“此项行动能帮上的灾难概率”按1 − (1 − 风险 × 权重 ÷ 2) 对该行动覆盖的各个风险相乘:大致是该行动能帮上的灾难情景实际发生的概率。行动仅按此数字排序。成本会显示但不参与排序。风暴和地方停电等普通紧急情况不计入,尽管这些物品大多是在那种场合用上的。该数字衡量的是行动的相关频率,而不是它把生存几率提高了多少。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。