研究者提出Telocracy构想，探讨如何构建与强大AI共处的社会

我们很难想象一个能妥善应对强大AI的社会。然而，我们必须继续尝试，因为如果没有一个积极的愿景，我们就只能无助地对经济 and 地缘政治的后果做出反应。当前的提案，例如Dario Amodei的“Machines of Loving Grace”，留下了重要问题悬而未决：

意义、目的与联结的问题。AI代理的一个后果是，我们会花时间与它们相处。那么，我们彼此相处的时间是否会减少？如果AI在工作中取代我们，我们是否会失去一些社会关系？我们的目标感？正如Clara Collier1最近观察到的，工作是许多人接触本阶级或本圈子之外的人、并因自身技能赢得尊重的地方。一种新的社会愿景应当说明，人类如何能继续在地位游戏之外找到目标，并跨越社会鸿沟进行交往。

适当分工的问题。随着AI承担更多工作，它们也将做出更多决策，从而剥夺人类的某些经验、学习和技能培养。AI将越来越多地起草规则、解决争端、判断价值观是否得到实现，并可能在某些任务上超越人类。一种新的社会愿景必须以某种方式界定人类仍应做什么，以及他们将如何继续学习、成长和行使判断力。

权力与影响力的问题。如果AI做出更多决策，我们如何确保人类利益始终居于中心？我们目前试图通过选举、法治和其他制衡机制使政府与人类利益保持一致，并通过市场使企业与消费者保持一致。但这些已经承受压力：政府机构和企业偏离其设立初衷，而选民和消费者往往无法纠正。2 AI代理可以不知疲倦地追求我们给予它们的任何指标，而且比任何人类都更快。当这些指标未能捕捉我们所关心的事物，或被钻空子时，与人类利益的错位就会变得更加严重。因此，一种新的社会愿景必须解释人类如何能对塑造其生活的机构保持影响力。

我将提出一种社会愿景来回应这些问题，它借鉴了一种名为联合主义（associationalism）的政治理论流派。3 联合主义认为，更多决策可以在联合体中做出——联合体是人们为了共同追求某种目的而选择加入的群体，遵循他们同意的规则，例如教会、工会、合作社或俱乐部。4

下面，我将聚焦于那些受目的约束并对其负责的联合体，而不是追随其成员在某一时刻的任何意愿，并且这些目的可以在某些方面被修订，但在另一些方面则不能，因此目的有时可能比当前成员对它的兴趣存续得更久。5 我还将更多关注那些更容易找到、组建和退出的轻量级联合体。有些将比教会或工会轻得多，例如一群想要相同结果的买家，或一群父母在一段时间内共享子女的活动。一个人可能属于许多联合体。

联合主义一直具有明确的吸引力：不是将权威让渡给市场价格机制的“人工智能”，6 或遥远的国家官僚，而是联合体中的人——那些有着共同关切的人——可以自己就此事做出决策。7

而有了这些轻量级、有目的的联合体，还有一个额外好处：如果联合体能够围绕新目的轻松形成，那么生活可以变得更有目的，而无需所有人就任何特定目的达成一致。结果是，希望在于，我们今天拥有的那种“消费者选择”——在产品中挑选——可以被一种新的“价值观选择”所增强，即我们选择自己想要参与哪些目的。

我将把发生这种情况的社会称为目的治理社会（telocratic）。8 目的治理并不需要强大的AI，但AI大有帮助：AI可以帮助那些原本无法找到彼此的人组建联合体，9 并能降低参与联合体以及担任其目的守护者的时间成本。AI还可以让联合体对其目的负责，在广泛情形中解释和执行这些目的，从而增强对这些联合体的信任，并避免它们被局部利益俘获。10

我将首先从广义上概述目的治理，然后提出具体的制度 and 法律构想，包括用于团购和组建联合体的新市场结构、一种将政府工作转移到受目的监督的AI代理的方式，以及一些更激进的构想，例如自动重新分配资产（如算力）以使其与目的保持一致。

我将聚焦于现代自由社会，其他人曾论证，在这些社会中，由于AI，我们将面临尖锐的意义、分工、赋权缺失和权力集中问题。11 在那里引入目的治理意味着如下变化：

目的治理式治理。更多机构将拥有广泛阐明的目的或授权，有点像Claude的Constitution，12 它们可以在某些方面随时间演变，但在另一些方面则不能。与章程不同，这些内容聚焦于机构的目的，而不是程序或它对利益相关者所负的义务。它们可以在不同抽象层次上运作——例如，对教育方法有分歧的父母可能仍然同意创办一所尝试多种方法以了解哪些有效的学校。13 在法律上，这些“目的治理式”组织可以是公司、政府机构或非营利组织，但它们通过基于AI的解释和执行渠道，与其目的更紧密地绑定。这些组织拥有保障措施和监控机制，很像当今前沿AI模型已经拥有的那些，但应用于组织本身。14

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）