[发明专利]对并行计算机执行全局收集操作的方法及其并行计算机

说明书

技术领域

本发明的领域是数据处理，或者更具体地，是用于对并行计算机执行全局收集(allgather)操作的方法、装置和产品。

背景技术

1948年的EDVAC计算机系统的开发被通常引用为计算机时代的开始。自那时起，计算机系统已演进为极其复杂的设备。今天的计算机要比例如EDVAC的早期系统复杂得多。计算机系统典型包括硬件和软件组件的组合，应用程序、操作系统、处理器、总线、存储器、输入/输出设备等。随着半导体处理和计算机体系结构的进步推动计算机的性能越来越高，更复杂的计算机软件已演进为利用所述硬件的更高性能，其导致计算机系统今天比几年前强大得多。

并行计算是一个已经历了进步的计算机技术领域。并行计算是为更快获得结果的同一任务(被分割并且特别适于)在多个处理器上的同时执行。并行计算是基于这一事实：解决问题的过程通常可以被划分为较小的任务，其中，所述较小的任务可以以某种协调来同时执行。

并行计算机执行并行算法。并行算法可以被分割，以便在许多不同处理设备上一次被执行一片，并且然后在最后被再放回一起以便得到数据处理结果。某些算法很容易被划分成片。对检查从一到十万的所有数字以了解哪些是素数的工作进行分割可以例如通过将所述数字的子集分配给每个可用处理器、以及然后将肯定结果的列表放回一起来完成。在本说明书中，执行并行程序的各个片的多个处理设备被称为“计算节点”。并行计算机由计算节点和包括例如输入/输出(“I/O”)节点和服务节点的其它处理节点共同组成。

并行算法是有价值的，是因为，由于现代处理器工作的方式，经由并行算法执行一些类型的大型计算任务比经由串行(非并行)算法更快。构造具有单一快速处理器的计算机要比具有许多有相同吞吐量的低速处理器困难得多。还存在串行处理器的潜在速度的某个理论极限。另一方面，每个并行算法具有串行部分，并且由此并行算法具有饱和点。在该点之后，添加更多处理器并不得到更大吞吐量，而仅增加开销和成本。

并行算法被还设计为优化并行计算机的节点间数据通信需要的一个或多个资源。存在两种并行处理器通信方式：共享存储器或消息传递。共享存储器处理需要对于数据的额外锁定，并且强加了额外处理器和总线循环开销，并且还串行化了所述算法的某些部分。

消息传递处理使用高速数据通信网络和消息缓存，但该通信增加了数据通信网络上的传输开销以及用于消息缓存的额外存储器需求和节点间数据通信的延迟。并行计算机的设计使用特别设计的数据通信链路，以便所述通信开销将较小，而决定业务容量的是并行算法。

许多数据通信网络体系结构被用于并行计算机中节点间的消息传递。计算节点可以在网络中被组织为例如“环形”或“网格”。同样，计算节点可以在网络中被组织为树。环形网络将节点连接成具有环绕链路的三维网格。每个节点通过该环形网络连接到其六个邻居，并且每个节点由其在该网格中的x，y，z坐标来定址。在树型网络中，节点典型被连接成二叉树：每个节点具有一个双亲和两个孩子(尽管一些节点取决于硬件配置可能仅有零个孩子或一个孩子)。在使用环形和树型网络的计算机中，所述两种网络典型被相互独立地实现，其具有分离的选路电路、分离的物理链路和分离的消息缓存。

环形网络适用于点到点操作，但树型网络在点到点通信中典型是低效的。然而，对于在其中所有计算节点同时参与的特定集体操作、消息传递操作(例如全局收集)，树型网络确实提供了高带宽和低延迟。全局收集操作是对计算节点的操作组的集体操作，该操作从所述操作组中的所有计算节点收集数据、以等级顺序将所收集的数据连接到存储器缓冲中，并且将所述存储器缓冲中的全部内容提供给所述操作组中的所有计算节点。因为数千节点可参与对并行计算机的集体操作，所以对并行计算机执行全局收集操作通常是种挑战。用于执行全局收集的典型的现有技术的算法是，对于操作组中的每个计算节点广播其对于该操作组中的所有计算节点的数据贡献。如果所述组较大，并且所述组可包含数千计算节点，则所述算法的数据通信成本很大。

发明内容