什么是脉动阵列:从二战密码机到现代NPU的并行计算架构
来源标题:Systolic Array
脉动阵列是一种紧耦合数据处理单元组成的同构网络,每个节点独立计算部分结果并向下游传递。其数据流思想最早见于二战期间破译德国Lorenz密码的Colossus计算机,后由H. T. Kung和Charles Leiserson独立提出。如今脉动阵列被用于NPU和基于空间设计的硬件加速器。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
在并行计算机体系结构中,脉动阵列是一种由紧密耦合的数据处理单元(DPU)组成的同构网络,这些单元被称为单元或节点。每个节点或DPU根据从上游邻居接收到的数据独立计算部分结果,将结果存储在自身内部,并将其向下游传递。类脉动数据流的原则最早见于Colossus,这是二战期间用于破译德国洛伦兹密码的早期计算机。[1] 由于Colossus的机密性质,H. T. Kung和Charles Leiserson独立发明了这些结构,他们描述了用于带状矩阵的许多密集线性代数计算(矩阵乘积、求解线性方程组、下上(LU)分解等)的阵列。早期的应用包括计算整数和多项式的最大公约数。[2] 如今,它们可以在NPU和基于空间设计的硬件加速器中找到。它们有时在Flynn分类法下被归类为多指令单数据(MISD)架构,但这种分类值得商榷,因为可以有力地论证将脉动阵列与Flynn的四个类别中的任何一个区分开来:单指令单数据(SISD);单指令多数据(SIMD);多指令单数据(MISD);以及多指令多数据(MIMD)。 并行输入数据流经硬连线处理器节点网络,这些节点将输入数据组合、处理、合并或排序为派生结果。由于数据通过脉动阵列的波状传播类似于人体循环系统的脉搏,“脉动”这个名称是从医学术语中借用而来的。该名称源自“心脏收缩”(systole),以此类比心脏有规律地泵血。 脉动阵列通常针对特定操作进行硬连线,例如乘加运算,以执行大规模并行积分、卷积、相关、矩阵乘法或数据排序任务。它们也用于动态规划算法,应用于DNA和蛋白质序列分析。 脉动阵列通常由大量原始计算节点组成的单片网络构成,这些节点可以硬连线或通过软件配置用于特定应用。节点通常是固定且相同的,而互连是可编程的。相比之下,更通用的波前处理器采用复杂的、可单独编程的节点,这些节点可能是也可能不是单片的,取决于阵列大小和设计参数。另一个区别是脉动阵列依赖同步数据传输,而波前处理器倾向于异步工作。 与更常见的冯·诺依曼架构不同——在后者中程序执行遵循存储在公共内存中的指令脚本,由CPU的程序计数器(PC)控制寻址和排序——脉动阵列内的各个节点由新数据的到达触发,并且始终以完全相同的方式处理数据。每个节点内部的实际处理可以是硬连线的或块微码的,在这种情况下,公共节点特性可以是块可编程的。 以数据计数器驱动的数据流为特征的脉动阵列范式,是与以程序计数器驱动的指令流为特征的冯·诺依曼架构相对应的。由于脉动阵列通常发送和接收多个数据流,并且需要多个数据计数器来生成这些数据流,因此它支持数据并行。 脉动阵列的一个主要优点是所有操作数据和部分结果都存储在(流经)处理器阵列内部。在每次操作期间无需访问外部总线、主存储器或内部缓存,而冯·诺依曼或哈佛顺序机器则需如此。Amdahl定律对并行性能所施加的顺序限制也不以同样的方式适用,因为数据依赖关系由可编程节点互连隐式处理,并且在管理高度并行的数据流中没有顺序步骤。 因此,脉动阵列在人工智能、图像处理、模式识别、计算机视觉以及动物大脑特别擅长的其他任务方面极为出色。一般的波前处理器也可以通过硬件实现自配置神经网络,在机器学习方面表现得非常出色。 虽然脉动阵列被正式归类为MISD,但其分类存在一定问题。由于输入通常是独立值的向量,脉动阵列绝对不是SISD。由于这些输入值被合并和组合成结果,并且不像在SIMD向量处理单元中那样保持独立性,因此该阵列不能如此分类。因此,该阵列也不能归类为MIMD,因为MIMD可以被视为较小SISD和SIMD机器的简单集合。 最后,由于数据群在通过阵列从节点到节点传递时被变换,多个节点并非对相同数据进行操作,这使得MISD分类名不副实。脉动阵列不应被归为MISD的另一个原因与使其不符合SISD类别的理由相同:输入数据通常是向量而非单个数据值,尽管人们可以争辩说任何给定的输入向量都是单个数据项。 尽管有上述种种,脉动阵列在并行计算教科书和工程课程中经常被作为MISD架构的经典例子提出。如果从外部将阵列视为原子的,它或许应该被分类为SFMuDMeR = 单功能、多数据、合并结果。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。