[发明专利]一种模型训练方法和相关装置

权利要求书

1.一种模型训练方法，其特征在于，在通过N个处理节点对网络模型进行并行训练的过程中包括k次训练迭代，k≥2，N≥2，所述方法包括：

在第i次训练迭代结束时，在所述N个处理节点中确定M个处理节点，i≤k-1，M<N；

从所述M个处理节点获取待融合参数，所述待融合参数为所述M个处理节点所训练的所述网络模型的模型参数；

根据所述待融合参数，确定在第i+1次训练迭代开始时目标处理节点所训练的所述网络模型的初始模型参数；所述目标处理节点为所述N个处理节点中除了所述M个处理节点之外的一个处理节点。

2.根据权利要求1所述的方法，其特征在于，若M<N-1，所述根据所述待融合参数，确定在第i+1次训练迭代开始时所述目标处理节点所训练的所述网络模型的初始模型参数，包括：

根据所述待融合参数和所述目标处理节点在第i个训练迭代结束时所训练的所述网络模型的模型参数，确定在第i+1次训练迭代开始时所述目标处理节点所训练的所述网络模型的初始模型参数。

3.根据权利要求1所述的方法，其特征在于，所述网络模型包括多个子模块，所述待融合参数为所述M个处理节点所训练的所述网络模型中目标子模块的模型参数，所述目标子模块为所述多个子模块中的一个；

所述初始模型参数用于标识在第i+1次训练迭代开始时所述目标处理节点所训练的所述目标子模块的模型参数。

4.根据权利要求3所述的方法，其特征在于，所述多个子模块包括第一子模块和第二子模块，其中，第一组M个处理节点用于确定所述第一子模块的初始模型参数，第二组M个处理节点用于确定所述第二子模块的初始模型参数，所述第一组M个处理节点和所述第二组M个处理节点间具有不同的处理节点。

5.根据权利要求1-4任意一项所述的方法，其特征在于，M是根据N确定的。

6.根据权利要求1-4任意一项所述的方法，其特征在于，所述在第i次训练迭代结束时，在所述N个处理节点中确定M个处理节点，包括：

在第i次训练迭代结束时，根据所述目标处理节点在所述N个处理节点中的通信关系，在所述N个处理节点中确定M个处理节点。

7.一种模型训练的相关装置，其特征在于，在通过N个处理节点对网络模型进行并行训练的过程中包括k次训练迭代，k≥2，N≥2，所述装置包括第一确定单元、获取单元、第二确定单元：

所述第一确定单元，用于在第i次训练迭代结束时，在所述N个处理节点中确定M个处理节点，i≤k-1，M<N；

所述获取单元，用于从所述M个处理节点获取待融合参数，所述待融合参数为所述M个处理节点所训练的所述网络模型的模型参数；

所述第二确定单元，用于根据所述待融合参数，确定在第i+1次训练迭代开始时目标处理节点所训练的所述网络模型的初始模型参数；所述目标处理节点为所述N个处理节点中除了所述M个处理节点之外的一个处理节点。

8.根据权利要求7所述的装置，其特征在于，若M<N-1，所述第二确定单元具体用于：

根据所述待融合参数和所述目标处理节点在第i个训练迭代结束时所训练的所述网络模型的模型参数，确定在第i+1次训练迭代开始时所述目标处理节点所训练的所述网络模型的初始模型参数。

9.一种用于模型训练的设备，其特征在于，所述设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-6所述的模型训练方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-6所述的模型训练方法。