[发明专利]基于混合精度的深度学习模型训练方法、装置及系统

权利要求书

1.一种基于混合精度的深度学习模型训练方法，其特征在于，包括：

基于上次训练得到的深度学习模型对样本数据集中的样本数据进行数据处理，获得数据精度为第一数据精度的设定数量个第一权重梯度数据；

根据所述设定数量个第一权重梯度数据和第二数据精度，确定数据精度为第二数据精度的缩放系数，所述第一数据精度高于所述第二数据精度；

基于所述样本数据集和所述缩放系数，对所述深度学习模型进行训练以更新所述深度学习模型的权重参数，获得本次训练的深度学习模型，所述缩放系数用于在训练所述深度学习模型的过程中对数据精度为第二数据精度的损失值进行放大处理。

2.根据权利要求1所述的方法，其特征在于，所述基于所述样本数据集和所述缩放系数，对所述深度学习模型进行训练以更新所述深度学习模型的权重参数，获得本次训练的深度学习模型，具体包括：

基于所述样本数据集和所述缩放系数，对所述深度学习模型进行训练以对所述深度学习模型的权重参数进行N次更新，所述N为每次进行模型训练时的权重参数更新次数；

当第N次对权重参数的更新完成时，获得本次训练的深度学习模型并结束本次训练。

3.根据权利要求2所述的方法，其特征在于，每一次对所述深度学习模型的权重参数进行更新，具体包括：

基于所述深度学习模型，得到所述样本数据集中的一组样本数据组中每个训练数据对应的预测值，所述预设值的数据精度为第二数据精度；

基于损失函数确定所述样本数据组中每个训练数据对应的标注信息和预测值之间的损失值；

将所述样本数据组中所有训练数据对应的损失值的均值乘上所述缩放系数，得到放大后的损失值的均值；

对放大后的损失值的均值进行求导处理，得到所述样本数据组对应的第二权重梯度数据，所述第二权重梯度数据的数据精度为第二数据精度；

将所述样本数据组对应的第二权重梯度数据除以所述缩放系数，得到数据精度为第一数据精度的第三权重梯度数据；

基于所述第三权重梯度数据对所述深度学习模型的权重参数进行一次更新。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

分别基于每一个第一权重梯度数据，对所述深度学习模型的权重参数进行一次更新。

5.根据权利要求2所述的方法，其特征在于，所述基于上次训练得到的深度学习模型对样本数据集中的样本数据进行数据处理之前，还包括：

确定上次训练已经结束。

6.根据权利要求1所述的方法，其特征在于，所述基于上次训练得到的深度学习模型对样本数据集中的样本数据进行数据处理之前，还包括：

根据针对所述缩放系数设定的生命周期，确定当前生命周期已经开始；其中，所述上次训练得到的深度学习模型为上一个生命周期中训练得到的深度学习模型，所述本次训练的深度学习模型为当前生命周期中训练得到的深度学习模型。

7.根据权利要求1至6任一所述的方法，其特征在于，所述根据所述设定数量个第一权重梯度数据和第二数据精度，确定数据精度为第二数据精度的缩放系数，具体包括：

确定所述设定数量个第一权重梯度数据的对数分布范围；

确定所述对数分布范围的第一中轴线；

确定第二数据精度的可表示数值范围的第二中轴线；

确定所述第一中轴线和所述第二中轴线之间的偏移值；

将与所述偏移值的差值在设定误差以内的数值作为所述缩放系数。