[发明专利]基于计算节点自组织分组的分布式神经网络混合同步训练方法

权利要求书

1.基于计算节点自组织分组的分布式神经网络混合同步训练方法，其特征在于，

包括以下步骤：

S1、采用卡尔曼滤波对计算节点的同步效率进行预测，并采用均方差分析计算节点的同步效率波动情况；

S2、基于预测的各个计算节点的同步效率以及同步效率波动情况的相似程度进行计算节点自组织实时分组；

S3、根据计算节点自组织实时分组的结果，在分组的组间与组内采用不同的同步策略训练模型；

步骤S3具体包括：

S31、当任意计算节点一轮迭代结束后，计算相似集群内部的最大迭代轮次epoch_max：

其中，wave代表该相似集群内部所有节点波动的平均值，nodeNumber代表该相似集群的节点个数；

S32、判断该节点是否会进入全局等待或者集群等待，若是，则进入步骤S33，否则，进入步骤S34；

S33、如果该节点进入全局等待，则需要等待所有节点拥有相同的迭代轮次后才能继续运行；如果该节点进入集群等待，则需要等待同一相似集群中所有节点拥有相同的迭代轮次后才能继续运行；

S34、如果该节点不会进入全局等待或者集群等待，则该节点进行单机异步优化，进入下一轮迭代，返回步骤S31；

步骤S32中，所述判断该节点是否会进入全局等待或者集群等待，具体包括：

(1)判断该节点与集群中所有节点的绝对迭代轮次差值是否大于预设阈值，如果大于预设阈值，则进入全局等待；

(2)如果该节点的相对迭代轮次与相似集群中最小相对轮次差值大于epoch _max，则进入相似集群等待；

其中，所述绝对迭代轮次是指该节点当前已经迭代的总次数，所述相对迭代轮次是指该节点在其所在的相似集群中的迭代轮次。

2.如权利要求1所述的基于计算节点自组织分组的分布式神经网络混合同步训练方法，其特征在于，步骤S1具体包括：

S11、对于任意计算节点i，参数服务器采集其近期每轮迭代的时间，形成固定大小的时间窗口集T_i，时间窗口集T_i中的每一个元素记录了在一次迭代中，参数服务器从发送最新模型数据至该节点，到接收完成该节点最新梯度参数所用的时间；

S12、根据节点最近一次迭代的效率与卡尔曼滤波条件，对接下来一次的迭代进行效率评估预测，获得预测的该节点下一次同步效率T_i^predict；

S13、求解时间窗口集T_i中元素的均方差，分析该计算节点在近期的同步效率波动情况，记为wave_i，这两个变量作为计算节点评估与预测的输出。

3.如权利要求1所述的基于计算节点自组织分组的分布式神经网络混合同步训练方法，其特征在于，步骤S2具体包括：

S21、多个相似计算节点组成相似集群，对任意节点每一轮迭代开始时，根据节点相似条件判断该节点是否需要被移出相似集群；

S22、对于需要移出相似集群的节点，将其移除，并为其创建一个新的相似集群；

S23、对满足合并条件的相似集群进行重组合并，并更新相似集群内部信息。

4.如权利要求3所述的基于计算节点自组织分组的分布式神经网络混合同步训练方法，其特征在于，步骤S21中，所述节点相似条件包括：

对于同一个相似集群group_similar中的任意两个计算节点，需要满足：

其中，Threshold_T表示节点效率相似的阈值，Threshold_wave表示近期效率波动相似的阈值；表示相似集群中的节点x的预测同步效率，表示相似集群中的节点y的预测同步效率，wave_x表示相似集群中的节点x的近期同步效率波动值，wave_x表示相似集群中的节点y的近期同步效率波动值。

5.如权利要求3所述的基于计算节点自组织分组的分布式神经网络混合同步训练方法，其特征在于，步骤S23中，所述合并条件包括：

对于任意两个相似集群，只要这两个相似集群内部任意两个节点u和v满足并且|wave_u-wave_v|≤Threshold_wave则可以进行合并。