[发明专利]一种深度学习模型训练方法、装置、设备及存储介质

权利要求书

1.一种深度学习模型训练方法，其特征在于，所述方法包括：

将多个训练节点均配置为使用各自的本地样本数据进行模型训练，并统计每一训练节点的训练次数；

响应于每次训练完成，获取本节点和其它节点的训练次数，并将本节点训练次数与其它节点训练次数进行比较；

响应于其它节点训练次数大于本节点训练次数，则利用其它节点的模型参数更新本节点的模型参数，以及本节点使用更新后的模型参数和本地样本数据进行模型训练，并更新模型参数和训练次数；

响应于其它节点训练次数均小于等于本节点训练次数，则利用本节点前一次训练更新的模型参数和本地样本数据进行模型训练，并更新模型参数和训练次数。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将本节点训练次数与预设迭代次数进行比较；

响应于本节点训练次数小于预设迭代次数，则返回获取本节点和其它节点的训练次数，并将本节点训练次数与其它节点训练次数进行比较的步骤；

响应于本节点训练次等于预设迭代次数，结束本节点的模型训练。

3.根据权利要求1所述的方法，其特征在于，所述获取本节点和其它节点的训练次数，并将本节点训练次数与其它节点训练次数进行比较的步骤包括：

响应于本节点完成前一次训练，则本节点向其它节点发送训练次数获取请求，其中，所述训练次数获取请求包含本节点训练次数；

其它节点接收所述训练次数获取请求，响应于其它节点训练次数大于所述本节点训练次数，则将其它节点训练参数和训练样本数返回至本节点。

4.根据权利要求3所述的方法，其特征在于，所述利用其它节点的模型参数更新本节点的模型参数的步骤包括：

本节点从其它节点选择一个目标节点；

获取所述目标节点的训练参数和训练样本数，以及多个训练节点的总训练样本数；

对所述目标节点的训练参数进行权重平均以得到的新模型参数，并使用新模型参数更新本节点的模型。

5.根据权利要求4所述的方法，其特征在于，所述对所述目标节点的训练参数进行权重平均以得到的新模型参数的步骤中采用下述公式进行权重平均；

其中，a_i表示第i个训练节点的训练样本数，a表示多个训练节点的总训练样本数，Wⁱ表示第i个训练节点的模型参数，W^S表示权重平均后的新模型参数。

6.根据权利要求4所述的方法，其特征在于，所述本节点从其它节点选择一个目标节点的步骤包括：

所述其它节点将训练次数返回至所述本节点；

响应于本节点收到多个其它节点返回的训练参数和训练样本数，则本节点将最大训练次数对应的某一其它训练节点作为目标节点。

7.根据权利要求1-6任意一项所述的方法，其特征在于，每一训练节点均配置为对本地样本数据进行加密存储。

8.一种深度学习模型训练装置，其特征在于，所述装置包括：

配置模块，用于将多个训练节点均配置为使用各自的本地样本数据进行模型训练，并统计每一训练节点的训练次数；

比较模块，用于响应于每次训练完成，获取本节点和其它节点的训练次数，并将本节点训练次数与其它节点训练次数进行比较；

第一模型更新模块，用于在其它节点训练次数大于本节点训练次数时，则利用其它节点的模型参数更新本节点的模型参数，以及本节点使用更新后的模型参数和本地样本数据进行模型训练，并更新模型参数和训练次数；

第二模型更新模块，用于在其它节点训练次数均小于等于本节点训练次数时，则利用本节点前一次训练更新的模型参数和本地样本数据进行模型训练，并更新模型参数和训练次数。

9.一种计算机设备，其特征在于，包括：

至少一个处理器；以及

存储器，所述存储器存储有可在所述处理器中运行的计算机程序，所述处理器执行所述程序时执行权利要求1-7任意一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时执行权利要求1-7任意一项所述的方法。