[发明专利]一种神经网络模型训练方法、装置及电子设备

权利要求书

1.一种神经网络模型训练方法，其特征在于，包括：

在对神经网络模型进行训练的过程中，确定出至少两个第一计算设备训练的已训练轮数，以及在对神经网络模型进行训练的过程中，每个所述第一计算设备在得到训练的权重值梯度后，通过所述权重值梯度异步更新所述神经网络模型的主模型的权重值以及对应的第一计算设备的所述主模型的副本的权重值；

判断所述已训练轮数是否满足预设条件，具体包括：判断所述已训练轮数是否为同步周期的倍数；其中，如果判断结果为是，确定出所述已训练轮数满足所述预设条件；

如果所述已训练轮数满足所述预设条件，基于所述神经网络模型的主模型的权重值对每个第一计算设备对应的所述主模型的副本的权重值进行同步更新。

2.如权利要求1所述的方法，其特征在于，所述判断所述已训练轮数是否满足预设条件，包括：

判断所述已训练轮数是否为同步周期的倍数；

其中，如果判断结果为是，确定出所述已训练轮数满足所述预设条件。

3.如权利要求1所述的方法，其特征在于，所述基于所述神经网络模型的主模型的权重值对每个第一计算设备对应的所述主模型的副本的权重值进行同步更新，包括：

通过控制任务向每个所述第一计算设备发送更新指令，以使每个所述第一计算设备在接收到所述更新指令之后，拷贝所述主模型的所述权重值；或者，

通过控制任务将所述主模型的权重值发送至每个所述第一计算设备，以使每个所述第一计算设备通过所述主模型的权重值覆盖所述副本的权重值。

4.如权利要求1所述的方法，其特征在于，所述通过所述权重值梯度异步更新所述主模型的权重值以及对应的第一计算设备的所述副本的权重值，包括：

通过所述权重值梯度对所述主模型的权重值进行更新；

通过更新后的所述主模型的权重值替换所述副本的权重值。

5.如权利要求1-3任一所述的方法，其特征在于，所述方法还包括：

在对所述神经网络模型训练的初始阶段，随机确定主模型的权重值；

根据随机确定的主模型，通过至少两个第二计算设备进行训练，得到初始模型；

每个所述第一计算设备拷贝所述初始模型的副本，从而进行所述神经网络模型的训练。

6.如权利要求5所述的方法，其特征在于，所述根据随机确定的主模型，通过至少两个第二计算设备进行训练，得到初始模型，包括：

通过所述至少两个第二计算设备拷贝所述随机确定的主模型的副本；

通过所述至少两个计算设备对所述随机确定的主模型的副本进行训练，获得训练结果；

基于所述训练结果对所述随机确定的主模型的权重值进行更新获得所述初始模型。

7.一种神经网络模型训练装置，其特征在于，包括：

第一确定模块，用于在对神经网络模型进行训练的过程中，确定出至少两个第一计算设备训练的已训练轮数，以及在对神经网络模型进行训练的过程中，每个所述第一计算设备在得到训练的权重值梯度后，通过所述权重值梯度异步更新所述神经网络模型的主模型的权重值以及对应的第一计算设备的所述主模型的副本的权重值；

判断模块，用于判断所述已训练轮数是否满足预设条件，具体包括：判断所述已训练轮数是否为同步周期的倍数；其中，如果判断结果为是，确定出所述已训练轮数满足所述预设条件；

第一更新模块，用于如果所述已训练轮数满足所述预设条件，基于所述神经网络模型的主模型的权重值对每个第一计算设备对应的所述主模型的副本的权重值进行同步更新。

8.一种电子设备，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

在对神经网络模型进行训练的过程中，确定出至少两个第一计算设备训练的已训练轮数，以及在对神经网络模型进行训练的过程中，每个所述第一计算设备在得到训练的权重值梯度后，通过所述权重值梯度异步更新所述神经网络模型的主模型的权重值以及对应的第一计算设备的所述主模型的副本的权重值；

判断所述已训练轮数是否满足预设条件，具体包括：判断所述已训练轮数是否为同步周期的倍数；其中，如果判断结果为是，确定出所述已训练轮数满足所述预设条件；

如果所述已训练轮数满足所述预设条件，基于所述神经网络模型的主模型的权重值对每个第一计算设备对应的所述主模型的副本的权重值进行同步更新。