分析：哪些因素可能拖慢ASI的发展

其实，我个人并不认为这会成为瓶颈。AI可以从合成数据或模拟中学习，而不会遭遇模型崩溃。我们也可能找到在已有数据上更高效地训练模型的方法。具备持续学习能力的系统可能会出现。毕竟，人类每天仍然会产生数千PB的新数据。

还有一种隐性知识：那些尚未被形式化、因而难以传递的知识。但有一个明显的反驳：AI能够泛化到训练数据之外。真正的问题是它能做到多好。

暂停数据中心建设、监管、出口管制等等。最近民主党在中期的胜利让我稍微更有希望，认为这可能成为一个有意义的障碍。

即使发生智能爆炸，AI仍可能受限于当时可用硬件的性能。它要么想出更节能的算法，要么设计新硬件并等待其制造出来。

a) 超大集群内部的数据传输。增加更多算力最终会带来递减的回报。Epoch已经对潜在的数据移动瓶颈进行了建模。 b) 内存墙。即使处理器很快，内存带宽仍然可能成为瓶颈。这个问题古老得像时间本身，或者至少比AI古老得多。

训练AI，尤其是用RL训练，当我们面对的是混乱的任务、验证结果困难、或者没有唯一正确答案时，要难得多。

训练AI解决数学或编程问题，比教它投资或经营一家大公司要容易得多。

我也想把著名的研究品味问题放在这里。这种东西能通过RL训练到什么程度，并不明显。

成功率取决于任务有多长，METR一直在密切追踪这一点。无论如何，时间跨度在稳步增长。但问题是，AI能否处理需要数月甚至数年的任务，尤其是如果它在训练数据中从未遇到过类似的东西？这与上一点相关。

还有长期记忆的问题、上下文窗口被填满等等。

一千名研究者不会让研究快一千倍。五个人不会比一个人把一杯咖啡做得快五倍。例如，agent之间可能重复彼此的工作。

Toby Ord估计，将agent数量增加10倍所带来的收益，相当于给单个agent多3-5倍的推理token。

a) 通信复杂度。对于某些计算问题，无论Alice和Bob的协议多么巧妙，他们为共同解决问题所必须交换的信息量都有一个下限。 b) 相关失效。缺乏多样性：一百万个相同模型的副本会撞上相同的弱点。

有时你无法在得到B的结果之前完成步骤C，而B本身又依赖于A，如此等等。相关的是Amdahl定律：你从并行化中能获得的加速最终受限于无法并行的那部分工作。

Transformer按顺序生成文本。每个新token都依赖于之前的token。不过，还是有投机解码之类的东西。

提出一个想法比验证它更容易。现实世界中的实验仍然需要时间，而在AI研发中有大量实验。

新的训练运行也是如此，有时可能需要数月。

对于某些问题，所需的观测数量存在数学上证明的下界。

当然，还有一种观点认为，找到每一个新的有用想法需要越来越多的研究投入。

另一方面，最近的一篇论文表明，自动化研究可以产生足够强的正反馈循环，从而克服递减回报。

有些问题在最坏情况下需要海量计算。

对于某些过程，预测它们将如何演化的最快方式可能就是实际运行该过程本身。

由于混沌，初始条件中微小的不确定性可以非常迅速地增长。我不确定即使是超级智能也能对某些物理系统做出长期预测。

Landauer极限、Bekenstein界限、Margolus–Levitin定理以及光速。这些都在Seth Lloyd的经典论文中讨论过。

当然，如果这些是仅剩的限制超级智能的因素，我们的预测可能就不再有任何意义了。我把它们列为荣誉提名。