[发明专利]用于在数据通信网络中执行集合通信操作的装置、方法和计算机程序产品

权利要求书

1.一种用于在包括多个计算节点的数据通信网络中执行集合通信操作的方法，其特征在于，所述方法包括：

–接收在所述集合通信操作中待使用的数据阵列，所述数据阵列包括数据项并具有预定义的大小；

–获取所述数据项在所述计算节点上的分布；

–获取所述数据通信网络的网络参数；

–根据所述数据阵列的所述大小、所述网络参数和所述数据项的所述分布，确定所述集合通信操作的调度；

–根据所述集合通信操作的所述调度对所述数据阵列执行所述集合通信操作，

其中，所述数据项的所述分布和所述集合通信操作的所述调度都基于所述计算节点之间所述数据项的循环排列。

2.根据权利要求1所述的方法，其特征在于，所述网络参数包括网络带宽和网络延迟。

3.根据权利要求1或2所述的方法，其特征在于，所述数据通信网络是对等网络。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述获取所述数据通信网络的所述网络参数包括：

_–接收包括所述网络参数的用户输入；

_–使用网络分析器实时计算所述网络参数，或

_–从预先存储所述网络参数的存储器中检索所述网络参数。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述集合通信操作包括Allreduce操作。

6.根据权利要求5所述的方法，其特征在于，所述Allreduce操作包括ReduceScatter操作和Allgather操作的组合。

7.根据权利要求5或6所述的方法，其特征在于，所述Allreduce操作的调度中使用的所述循环排列的数量在到之间变化，其中，P是所述计算节点的数量。

8.一种用于在包括多个计算节点的数据通信网络中执行集合通信操作的装置，其特征在于，所述装置包括：

至少一个处理器；

存储器，与所述至少一个处理器耦合，并存储计算机可执行指令，当所述至少一个处理器执行所述可执行指令时，使所述至少一个处理器：

–接收在所述集合通信操作中待使用的数据阵列，所述数据阵列包括数据项并具有预定义的大小；

–获取所述数据项在所述计算节点上的分布；

–获取所述数据通信网络的网络参数；

–根据所述数据阵列的所述大小、所述网络参数和所述数据项的所述分布，确定所述集合通信操作的调度；

–根据所述集合通信操作的所述调度对所述数据阵列执行所述集合通信操作，

其中，所述数据项的所述分布和所述集合通信操作的所述调度都基于所述计算节点之间所述数据项的循环排列。

9.根据权利要求8所述的装置，其特征在于，所述网络参数包括网络带宽和网络延迟。

10.根据权利要求8或9所述的装置，其特征在于，所述数据通信网络是对等网络。

11.根据权利要求8至10中任一项所述的装置，其特征在于，所述至少一个处理器用于通过以下方式获取所述数据通信网络的所述网络参数：

–接收包括所述网络参数的用户输入；

–从对所述网络参数进行实时计算的网络分析器接收所述网络参数，或

–从预先存储所述网络参数的所述存储器中检索所述网络参数。

12.根据权利要求8至11中任一项所述的装置，其特征在于，所述集合通信操作包括Allreduce操作。

13.根据权利要求12所述的装置，其特征在于，所述Allreduce操作包括ReduceScatter操作和Allgather操作的组合。