[发明专利]分布式深度学习方法、装置、参数服务器及主工作节点

权利要求书

1.一种分布式深度学习方法，其特征在于，包括：

接收多个数据运算组中主工作节点发送的梯度向量集；其中，每个主工作节点发送的梯度向量集包括所述主工作节点所在数据运算组中所有工作节点的梯度向量；

根据多个所述梯度向量集对预设深度学习模型的全局模型参数进行更新；

将更新后的全局模型参数下发至各主工作节点，以使所述每个主工作节点控制其所在数据运算组中所有工作节点根据所述更新后的全局模型参数进行本地的模型训练。

2.如权利要求1所述的分布式深度学习方法，其特征在于，所述方法还包括：

获取多个工作节点的运行状态信息；

根据所述多个运行状态信息，对所述多个工作节点进行重新分组，获得多个更新后的数据运算组；

确定每个更新后的数据运算组的主工作节点。

3.如权利要求2所述的分布式深度学习方法，其特征在于，所述运行状态信息包括计算能力信息、通信能力信息以及贡献能力信息；其中，所述计算能力信息用于描述每个工作节点计算能力的大小；所述通信能力信息用于描述每个工作节点的可用带宽；所述贡献能力信息用于描述每个工作节点对所述深度学习模型训练过程的贡献度大小。

4.如权利要求3述的分布式深度学习方法，其特征在于，所述根据所述多个运行状态信息，对所述多个工作节点进行重新分组，获得多个更新后的数据运算组，包括：

根据所述多个运行状态信息生成评价指标，所述评价指标包括所述计算能力信息的权重值、所述通信能力信息的权重值以及所述贡献能力信息的权重值；

根据所述评价指标计算获得所述多个工作节点中每两个工作节点之间的距离；其中，所述距离用于描述两个工作节点之间的相似度；

根据所述多个工作节点中每两个工作节点之间的距离，对所述多个工作节点进行重新分组，获得多个更新后的数据运算组。

5.如权利要求1所述的分布式深度学习方法，其特征在于，所述接收多个数据运算组中主工作节点发送的梯度向量集，包括：

针对每个数据运算组，在接收到所述数据运算组中主工作节点发送的梯度向量集时，将该数据运算组的迭代次数加一；

获取所述多个数据运算组中的最大迭代次数和最小迭代次数；

若所述最大迭代次数与所述最小迭代次数之间的差值大于预设阈值，则停止接收所述最大迭代次数对应的数据运算组中主工作节点发送的梯度向量集，直至所述最大迭代次数与最小迭代次数之间的差值小于预设阈值。

6.一种分布式深度学习方法，其特征在于，包括：

主工作节点获取所述主工作节点所在数据运算组中所有工作节点的梯度向量，并根据所述多个梯度向量生成梯度向量集；

所述主工作节点将所述梯度向量集发送至参数服务器，以使所述参数服务器根据包含所述主工作节点在内的多个主工作节点发送的梯度向量集对预设深度学习模型的全局模型参数进行更新；

接收所述参数服务器返回的更新后的全局模型参数，根据所述更新后的全局模型参数进行本地的模型训练；

将所述更新后的全局模型参数下发至本工作节点所在数据运算组中的各子工作节点，以使各子工作节点根据所述更新后的全局模型参数进行本地的模型训练。

7.一种分布式深度学习装置，其特征在于，包括：

第一接收模块，用于接收多个数据运算组中主工作节点发送的梯度向量集；其中，每个主工作节点发送的梯度向量集包括所述主工作节点所在数据运算组中所有工作节点的梯度向量；

更新模块，用于根据多个所述梯度向量集对预设深度学习模型的全局模型参数进行更新；

第一下发模块，用于将更新后的全局模型参数下发至各主工作节点，以使所述每个主工作节点控制其所在数据运算组中所有工作节点根据所述更新后的全局模型参数进行本地的模型训练。