[发明专利]用于在数据通信网络中执行集合通信操作的装置、方法和计算机程序产品

说明书

本发明涉及数据处理领域，更具体地，涉及一种用于在数据通信网络中的多个计算节点上执行集合通信操作的方法、装置和计算机程序产品。具体地，所述集合通信操作是根据调度执行的，所述调度根据网络参数、进行所述集合通信操作的数据阵列的大小，以及构成所述数据阵列的数据项在所述计算节点上的分布确定。所述调度定义了所述集合通信操作所涉及的所述计算节点之间所述数据项的某些循环排列。因此，通过改变所述循环排列的数量，所述集合通信操作的执行适应所述网络参数和所述数据阵列的所述大小。

技术领域

本发明涉及数据处理领域，更具体地，涉及一种用于在数据通信网络中的多个计算节点上执行集合通信操作的方法、装置和计算机程序产品。

背景技术

高性能并行计算(high-performance parallel computing，HPPC)与使用多个计算节点或进程以更快或更高的准确度解决感兴趣的任务有关。具体地，HPPC基于以下事实：感兴趣的任务通常可以分为更小的子任务，这些子任务可以根据一些协调规则在多个计算节点上同时执行。计算节点的这种参与也称为集合通信操作，指多个计算节点在解决感兴趣的任务时相互通信。

为了执行集合通信操作，制定了不同的标准，包括消息传递接口标准(messagepassing interface，MPI)。通常，MPI为计算节点之间的通信提供了标准化的手段，支持点对点和集合通信。这种支持可以实现不同类型的集合通信操作，在这些集合通信操作中，Allreduce操作非常重要，因为已证明Allreduce操作是MPI中最常用的操作之一。

更具体地，Allreduce操作是所有计算节点的数据项被组合成一个结果，然后将结果分发回每个计算节点的集合通信操作。数据项的这种组合可以通过使用加法运算符、乘法运算符、最大运算符、最小运算符等特定运算符来执行，并且结果可以分别由所有数据项的总和、所有数据项的乘积、最大数据项、最小数据项等表示。

最近提出了许多不同的算法，以在不同的平台和网络架构上实现Allreduce操作。具体地，OpenMPI和MPICH标准是MPI标准的两种独立的实现，它们在执行Allreduce操作时需要使用两种算法，即递归倍增算法和环算法。但是，递归倍增算法和环算法存在以下缺点：前者对小数据项和数量是2的幂的计算节点是最优的，后者对大数据项是最优的，同时适用于任何数量的计算节点。因此，根据OpenMPI和MPICH标准，Allreduce操作的执行涉及根据数据项的大小和计算节点的数量在这两种算法之间切换，从而增加了Allreduce操作的执行时间。

Allreduce操作中使用的对大数据项最优的另一种算法是递归减半算法。但是，与递归倍增算法类似，递归减半算法只有在计算节点的数量是2的幂时才效果良好。

因此，仍然需要一种新的方案，可以减少甚至消除现有技术特有的上述缺点。

发明内容

发明内容简单介绍了一些概念，在具体实施方式中会进一步描述这些概念。发明内容并非旨在确定所要求保护的主题的关键特征或必要特征，也并非旨在用于限制所要求保护的主题的范围。

本发明的目的是提供一种最优的技术方案，用于对任何大小的数据项和任何数量的计算节点有效地执行集合通信操作。

上述目的通过所附权利要求书中独立权利要求的特征来实现。其它实施例和示例从从属权利要求、说明书和附图中显而易见。