[发明专利]一种分布式训练中参数更新方法及装置

权利要求书

1.一种分布式训练中参数更新方法，其特征在于，包括：

接收分布式训练集群中的每个训练节点传递的梯度；

根据每个训练节点传递的梯度计算平均累积梯度，根据平均累积梯度训练模型的损失值并更新所述训练模型的模型参数；

根据所述损失值的收敛速率确定模型训练的训练阶段，其中，所述训练阶段包括第一训练阶段、第二训练阶段和第三训练阶段；

根据所述训练阶段对所述模型参数进行压缩，获得压缩模型参数，其中，在所述训练阶段在第二训练阶段或第三训练阶段的情况下，对所述模型参数中的第二压缩张量集合进行压缩，获得压缩模型参数，所述第二压缩张量集合根据张量参与压缩的比例从所述模型参数中确定；

将所述压缩模型参数同步至所述分布式训练集群的每个训练节点，更新每个训练节点中的模型参数。

2.如权利要求1所述的分布式训练中参数更新方法，其特征在于，根据每个训练节点传递的梯度计算平均累积梯度，根据平均累积梯度训练模型的损失值并更新所述训练模型的模型参数，包括：

将每个训练节点传递的梯度累加并计算均值，得到平均累积梯度；

根据所述平均累积梯度计算训练模型的损失值并更新训练模型的参数。

3.如权利要求1所述的分布式训练中参数更新方法，其特征在于，根据所述损失值的收敛速率确定模型训练的训练阶段，包括：

在所述损失值的收敛速率大于等于第一预设阈值的情况下，确定模型训练处于第一训练阶段；

在所述损失值的收敛速率小于第一预设阈值且大于等于第二预设阈值的情况下，确定模型训练处于第二训练阶段；

在所述损失值的收敛速率小于第二预设阈值情况下，确定模型训练处于第三训练阶段。

4.如权利要求1所述的分布式训练中参数更新方法，其特征在于，还包括：

根据张量参与压缩的比例将所述模型参数中的张量分组，获得第一压缩张量集合和第二压缩张量集合。

5.如权利要求4所述的分布式训练中参数更新方法，其特征在于，根据所述训练阶段对所述模型参数进行压缩，包括：

在模型训练处于第一训练阶段的情况下，采用第一压缩法对所述第一压缩张量集合和所述第二压缩张量集合中的张量进行压缩；

在模型训练处于第二训练阶段的情况下，采用第二压缩法对所述第二压缩张量集合中的张量进行压缩；

在模型训练处于第三训练阶段的情况下，采用第三压缩法对所述第二压缩张量集合中的张量进行压缩；

其中，第一压缩法的压缩效率和损失精度大于第二压缩算法，第二压缩算法的压缩效率和损失精度大于第三压缩算法。

6.如权利要求1所述的分布式训练中参数更新方法，其特征在于，更新每个训练节点中的模型参数，包括：

每个训练节点接收所述压缩模型参数并解压，用解压后的压缩模型参数更新训练节点中的模型参数。

7.一种分布式训练中参数更新装置，其特征在于，包括：

接收模块，被配置为接收分布式训练集群中的每个训练节点传递的梯度；

计算更新模块，被配置为根据每个训练节点传递的梯度计算平均累积梯度，根据平均累积梯度训练模型的损失值并更新所述训练模型的模型参数；

确定模块，被配置为根据所述损失值的收敛速率确定模型训练的训练阶段，其中，所述训练阶段包括第一训练阶段、第二训练阶段和第三训练阶段；

压缩模块，被配置为根据所述训练阶段对所述模型参数进行压缩，获得压缩模型参数，其中，在所述训练阶段在第二训练阶段或第三训练阶段的情况下，对所述模型参数中的第二压缩张量集合进行压缩，获得压缩模型参数，所述第二压缩张量集合根据张量参与压缩的比例从所述模型参数中确定；

同步更新模块，被配置为将所述压缩模型参数同步至所述分布式训练集群的每个训练节点，更新每个训练节点中的模型参数。

8.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，其特征在于，所述处理器执行所述指令时实现权利要求1-6任意一项所述方法的步骤。

9.一种计算机可读存储介质，其存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1-6任意一项所述方法的步骤。