[发明专利]基于注入节点带宽的并行处理

权利要求书

1.一种计算机实现的方法，包括：

使用多个并行处理阶段在并行处理系统的多个节点之间执行集体操作；以及

调节所述并行处理阶段的排序，其中所述多个并行处理阶段的初始阶段与比所述多个并行处理阶段的后续阶段更高的节点注入带宽相关联。

2.如权利要求1所述的方法，其中：

执行所述集体操作包括在所述多个节点之间传递消息；以及

调节所述排序包括调节所述排序使得与所述初始阶段相关联的消息尺寸大于与另一阶段相关联的消息尺寸。

3.如权利要求1所述的方法，其中执行所述集体操作包括执行归约分散操作。

4.如权利要求1所述的方法，其中执行所述集体操作包括：在所述多个节点之间并行处理数据向量的元素以对所述元素进行归约，并将经归约的元素跨所述多个节点分散。

5.如权利要求1所述的方法，进一步包括：

对于多个并行处理阶段的初始阶段，将多个消息从所述多个节点中的第一节点传递到所述多个节点中的另一节点以将数据从所述另一节点传递到所述第一节点，并在所述第一节点中处理所传递的数据以对所述所传递的数据进行归约操作。

6.如权利要求1所述的方法，其中所述多个节点包括节点的集群，所述方法进一步包括：

在所述初始阶段中在每个集群的节点之间传递消息；以及

在所述后续阶段中在所述集群之间传递消息。

7.如权利要求1所述的方法，其中所述多个节点包括布置在超级节点中的节点的子集，所述方法进一步包括：

在所述初始阶段中在每个超级节点的节点之间传递消息；以及

在所述后续阶段中在所述超级节点之间传递消息。

8.如权利要求1所述的方法，其中所述多个节点包括布置在超级节点中的节点的子集，以及布置在网格中的超级节点的子集，所述方法进一步包括：

在所述初始阶段中在每个超级节点的节点之间传递消息；

在所述多个并行处理阶段的第二阶段中，在每个网格的超级节点之间传递消息；以及

在所述多个并行处理阶段的第三阶段中，在所述网格之间传递消息。

9.如权利要求1所述的方法，其中所述多个节点包括布置在超级节点中的节点的子集，以及布置在网格中的超级节点的子集，所述方法进一步包括：

在所述初始阶段中在每个超级节点的节点之间传递消息；

在所述多个并行处理阶段的第二阶段中，在每个网格的超级节点之间传递消息；以及

在所述多个并行处理阶段的多个其他阶段中，在所述网格之间传递消息。

10.如权利要求9所述的方法，其中在所述多个并行处理阶段的多个其他阶段中在所述网格之间传递消息包括根据基于Rabenseifner的算法进行传递。

11.一种用于存储指令的非暂态计算机可读存储介质，所述指令在由并行处理机器执行时，使得所述机器：

在多个并行处理阶段的每个阶段中，在所述机器的多个处理节点之间传递消息，以交换和对数据进行归约，其中每个处理阶段与注入带宽相关联，并且所述注入带宽不同；以及

对阶段进行排序，使得所述多个并行处理阶段的初始阶段与相关联的注入带宽中的最高注入带宽相关联。

12.如权利要求11所述的计算机可读存储介质，其中所述计算机可读存储介质存储指令，所述指令在由所述并行处理机器执行时使得所述机器提供消息接口库，所述消息接口库提供允许对阶段进行排序的函数，并且其中所述初始阶段与所述最高注入带宽相关联。