
研究探讨用分析与合成方法防范AI灾难
来源标题:Preventing an AI catastrophe, a brief into to analysis by synthesis
一篇文章以1983年苏联核预警误报事件和电影《WarGames》为例,讨论AI系统缺乏世界模型时可能出现的误判问题。文章指出,在Petrov事件和电影中,人类都充当了自动化系统的关键防线,并提出应区分模型对齐与基本认知能力。文章还提及Ulf Grenander在1983年提出的分析与合成方法。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
他的一些疑虑是有逻辑依据的:系统太新,消息穿过他自己设置的30层验证关卡时又过快。另一些疑虑则更模糊:一种奇怪的直觉,以及一种自认为比机器更懂的感觉。即便如此,他宣布误报的决定仍是一次五五开的猜测,并不更高明。来源:《经济学人》,“午夜倒计时”(2017年9月30日)
是传感器背叛了我们吗?是机器不道德吗?苏联人本该投资于模型对齐吗?不,卫星履行了职责,它并没有对齐错误。它只是没有世界的模型。如今,安全的智能体行为是每个人都在思考的问题,然而我们常常把对齐与基本的认知论混为一谈。有趣的是,在苏联核误报发生前近四个月,电影《战争游戏》于1983年6月上映,其前提惊人地相似。
在彼得罗夫的案例和电影中,人类都作为自动化系统的护栏发挥了关键作用。
在《战争游戏》广泛上映的那一周,Ulf Grenander在隆德的一个名为“关于部分与整体的当前思考盘点”的会议上发表了“对数学全球趋势的反思”。毕竟,大约在这个时候,计算机正在迅速改变数学实践。等等,既然“数学2.0”已被占用,我们不妨称他的版本为“数学1.5”。
彼得罗夫的误报发生在9月,即Grenander 6月演讲数月之后,而该事件的细节直到1990年代才公之于众。Grenander在冷战期间发展出的数学框架,大部分集中于概率模式表示和从信号中进行推断。这些想法也为思考预警系统提供了一个有用的视角。一个强有力的观点是,模式分析与模式合成应共享一个共同的概率模型。
模式分析 = 模式合成。(归功于Grenander(1983,§5.3),见“贝叶斯计算与随机系统”)
来自传感器的自下而上的信号可能触发警报,警告彼得罗夫有导弹来袭,先是第一枚,然后是另外四枚。
自上而下的理解是合成或模拟一个可能产生这些信号的世界的过程,并将这些合成预测与观测读数进行比较:
要理解一个信号,就对可能产生它的东西建模。Grenander用于表示隐藏结构并从噪声观测中推断这些结构的组合概率框架被称为模式理论。
模式理论后来怎么样了?1983年早六周的事提供了一条线索。
在隆德会议和《战争游戏》广泛上映前六周,慕尼黑举办了第28届欧洲歌唱大赛。
Corinne Hermès以她的歌曲《Si la vie est cadeau》惊艳了我们,代表卢森堡并获得第一名。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。