[发明专利]数据整合方法、分布式计算节点及分布式深度学习训练系统

权利要求书

1.一种数据整合方法，用于分布式计算节点的数据整合，其中，所述方法包括：

信息确定步骤，确定需发送的数据段的数据信息，其中所述数据段具有数据段标识；第一发送步骤，根据所述数据信息，确定本次向第一计算节点发送的所述数据段，并发送；

第一接收步骤，根据所述数据信息，确定本次应接收的所述数据段，并根据预设时间接收第二计算节点发出的所述数据段，如在所述预设时间内接收到所述数据段，执行聚合步骤，如在所述预设时间内未接收到所述数据段，则跳过所述聚合步骤；

所述聚合步骤，根据接收到的数据段及其所述数据段标识，更新相应的所述数据段；

汇总步骤，基于全部所述计算节点的所述第一接收步骤中最后应接收的所述数据段，进行整合，得到整合后的所述数据。

2.根据权利要求1所述的方法，其中，所述信息确定步骤包括：数据分段步骤，根据全部所述计算节点的节点数量，将数据分为多个所述数据段，其中，所述计算节点具有节点标识；及，循环次数设置步骤，根据全部所述计算节点的节点数量，设置循环次数；

所述第一发送步骤还包括，根据所述节点标识以及当前所述循环次数，确定本次向所述第一计算节点发送的所述数据段；

所述第一接收步骤还包括，根据所述节点标识以及当前所述循环次数，确定本次应接收的所述数据段，且，如在所述预设时间内未接收到所述数据段，则执行判断步骤；

在所述聚合步骤后，所述数据整合方法还包括所述判断步骤：判断所述循环次数是否等于所述节点数量，若等于，则执行汇总步骤，若不等于，返回所述循环次数设置步骤且所述循环次数加1。

3.根据权利要求2所述的方法，其中，

所述第一接收步骤还包括：如在所述预设时间内未接收到所述数据段，记录本次应接收的所述数据段的所述数据段标识作为丢弃标识，并且在执行所述判断步骤后，持续接收所述数据段；

所述汇总步骤还包括：第二发送步骤，根据所述丢弃标识，确定接收节点，将在所述预设时间后接收到的所述数据段发送至所述接收节点。

4.根据权利要求1-3任一项所述的方法，所述汇总步骤还包括：

第二接收步骤，接收其它所述计算节点发送的数据段；

补充聚合步骤，所述第二接收步骤接收到的所述数据段及其数据段标识，更新相应的所述数据段。

5.根据权利要求1-3任一项所述的方法，所述汇总步骤包括：第三发送步骤、第三接收步骤、及整合步骤，其中：

所述第三发送步骤，将所述第一接收步骤中最后应接收的所述数据段，向其它所述计算节点发送；

所述第三接收步骤，接收其它所述计算节点发送的数据段；

所述整合步骤，根据所述数据段标识及所述第三接收步骤中接收到的所述数据段，整合所述数据。

6.一种分布式计算节点，其中，所述计算节点包括：

信息确定模块，用于确定需发送的数据段的数据信息，其中所述数据段具有数据段标识；

第一发送模块，用于根据所述数据信息，确定本次向第一计算节点发送的所述数据段，并发送；

第一接收模块，用于根据所述数据信息，确定本次应接收的所述数据段，并根据预设时间接收第二计算节点发出的所述数据段，如在所述预设时间内接收到所述数据段，通过聚合模块进行聚合，如在所述预设时间内未接收到所述数据段，则不通过聚合模块进行聚合；

所述聚合模块，根据接收到的数据段及其所述数据段标识，更新相应的所述数据段；

汇总模块，用于基于全部所述计算节点的所述第一接收步骤中最后应接收的所述数据段，进行整合，得到整合后的所述数据。

7.一种分布式深度学习训练系统，其中，所述系统包括多个如权利要求6所述的计算节点，多个所述计算节点之间通信连接。

8.一种电子设备，其中，所述电子设备包括：

存储器，用于存储指令；以及

处理器，用于调用所述存储器存储的指令执行如权利要求1-5中任一项所述的数据整合方法。

9.一种计算机可读存储介质，其中存储有指令，所述指令被处理器执行时，执行如权利要求1-5中任一项所述的数据整合方法。