研究：科幻作品对AI的预测准确度有限

没有哪个维度的评分超过3分。在学习范式、训练数据、规模扩展、迭代、人类反馈、能力不均衡、创作质量、研究发现、顺序与节奏、界面/分发、经济学、社会变革这些方面，均无涉及。 在1984年的电影中，Kyle Reese说防御计算机“变得聪明”，并判定人类是威胁。关于Skynet获得自我意识的明确描述属于1991年的续集，而非本片。影片没有花太多时间讲它是如何被建造的、从什么数据中学习，或者工程师如何改进它。它几乎没有告诉我们任何关于催生当今助手的语言学习路径。 终结者可以追踪目标、在物理世界中导航，并模仿人类语音到足以欺骗人的程度。这是令人印象深刻的具身能力，但它不是一个写小说或做数学的对话模型。这部电影并不是在试图预测这些技能实际出现的非寻常顺序。 在这里，AI通过军事指挥系统和杀手机器人变得强大。这是对自主武器的生动警告，但不是通过聊天界面、创意产品和办公工具——这些让现代AI获得最广泛采用的路径。这里的低分并不能说明这部电影作为惊悚片的优点。 这些评分都不是机械测量。中等置信度的作品需要更仔细地阅读原始文本。较晚的比较对象（2017年及之后）会被标记；在底层技术已经存在之后再预测某件事，是一种不同的成就。 每部作品都会根据其情节点与AI现实的对应程度进行评分。65分并不意味着作者65%的预测都成真了。通常低分只是意味着故事聚焦于一个狭窄的想法。 有三个问题，权重偏向许多作者通常会跳过的那个：AI最初是如何被建造出来的。 每个问题拆分为具体维度，共十五个，每个维度得分为0到5分。 关键预测是：机器通过从示例中学习而变得有用，而不是为它写出每一条规则。向我展示它接触到什么——书籍、对话、演示——以及这如何改变它能做什么。 一个从文学中学习语言的神经网络，比一台仅仅被称为天才的计算机更接近真实故事。5分意味着学习是机制的核心。3分可能识别出了学习，但没有很好地解释它。一台手工建造的诗机可以在其输出上具有远见，却仍然错过真正奏效的方法。 不计入：机器仅仅被称为“智能” 它的智能来自哪里？一个强有力的故事会将人类信息作为答案的一部分：对话、书籍、图像、录音，或人们行为的记录。 更好的是，数据解释了技能。一个在通信记录上训练的系统可能变得有说服力；一个在文学上训练的系统可能产出小说。但数据库并不自动就是训练集。搜索记录是一种检索预测，而不是机器从中学习的证明。我希望这种联系出现在文本中，而不是我们事后因为机器听起来聪明就编造出来。 不计入：数据库仅仅可供搜索 关于规模扩展的惊人之点是，更多数据、计算和容量可以改进的不只是速度。它们可以改变一个学习系统能够做什么。 如果我们确实看到这种情况发生，故事就会获得高分：一个更大或训练更好的版本获得了新能力。一台仅仅存储更多记录的巨型计算机不算什么。机器突然醒来的魔法阈值也不算。增长应该带来能力。如果认识到资源的重要性，却没有假装作者描述了具体的transformer架构，给予部分分数是公平的。 不计入：巨型机器或魔法觉醒 真正的进步是混乱的。早期系统失败，接下来的系统笨拙，工程师改变一些东西后再试。 我们希望看到原型、进展糟糕的演示、重新训练、修订和有意义的评估。如果故事清楚说明为什么新版本改进了，那就更好。一次戏剧性的故障不是开发过程。这与B2不同：一台完成的机器可以在某些事情上仍然出色，而在另一些事情上很糟糕。A4问的是我们最初是如何得到这台完成的机器的。