[发明专利]模型训练方法、装置、设备及存储介质

权利要求书

1.一种模型训练方法，其特征在于，包括：

获取训练数据集，所述训练数据集包括已标注数据和未标注数据；

利用所述已标注数据，对预设的老师模型进行训练，直至所述老师模型达到预设的第一收敛条件，得到目标老师模型；

对所述目标老师模型和学生模型进行BN层权重共享，所述目标老师模型的模型复杂度大于所述学生模型的模型复杂度；

利用所述已标注数据和所述未标注数据，对所述学生模型和所述目标老师模型进行联合训练，直至所述学生模型达到预设的第二收敛条件，得到目标学生模型，所述目标学生模型能够用于部署到端侧计算平台。

2.如权利要求1所述的模型训练方法，其特征在于，所述目标老师模型和所述学生模型均有多个BN层，所述对所述目标老师模型和学生模型进行BN层权重共享，包括：

将所述目标老师模型的多级BN层权重共享至所述学生模型。

3.如权利要求2所述的模型训练方法，其特征在于，所述学生模型和所述目标老师模型在联合训练时，固定所述目标老师模型的多级BN层权重和所述学生模型的多级BN层权重。

4.如权利要求1所述的模型训练方法，其特征在于，所述利用所述已标注数据和所述未标注数据，对所述学生模型和所述目标老师模型进行联合训练，直至所述学生模型达到预设的第二收敛条件，得到目标学生模型，包括：

将所述训练数据集作为所述学生模型和所述目标老师模型的输入数据，输出所述学生模型的第一预测结果和所述目标老师模型的第二预测结果；

根据所述第一预测结果和所述第二预测结果，计算目标损失函数的总损失值；

根据所述总损失值，更新所述学生模型，直至所述学生模型收敛，得到所述目标学生模型。

5.如权利要求4所述的模型训练方法，其特征在于，所述根据所述第一预测结果和所述第二预测结果，计算目标损失函数的总损失值，包括：

确定所述输入数据的数据类型，所述数据类型为已标注数据或未标注数据；

根据所述数据类型，计算所述目标损失函数的总损失值。

6.如权利要求5所述的模型训练方法，其特征在于，所述目标损失函数为：

；

其中，为所述学生模型的预测损失函数，为所述目标老师模型的预测损失函数，为所述第一预测结果，为所述第二预测结果，为所述第一预测结果与所述第二预测结果之间的均方误差，为所述数据类型，若所述数据类型为已标注数据，则，若所述数据类型为未标注数据，则。

7.如权利要求4所述的模型训练方法，其特征在于，所述根据所述总损失值，更新所述学生模型，直至所述学生模型收敛，得到所述目标学生模型，包括：

若所述总损失值不小于预设阈值，则更新所述学生模型的第一特征层权重和所述目标老师模型的第二特征层权重，得到新的所述学生模型和新的所述目标老师模型；

利用新的所述学生模型和新的所述目标老师模型，对所述训练数据集进行预测，直至所述总损失值小于所述预设阈值，得到所述目标学生模型。

8.一种模型训练装置，其特征在于，包括：

获取模块，用于获取训练数据集，所述训练数据集包括已标注数据和未标注数据；

第一训练模块，用于利用所述已标注数据，对预设的老师模型进行训练，直至所述老师模型达到预设的第一收敛条件，得到目标老师模型；

共享模块，用于对所述目标老师模型和学生模型进行BN层权重共享，所述目标老师模型的模型复杂度大于所述学生模型的模型复杂度；

第二训练模块，用于利用所述已标注数据和所述未标注数据，对所述学生模型和所述目标老师模型进行联合训练，直至所述学生模型达到预设的第二收敛条件，得到目标学生模型，所述目标学生模型能够用于部署到端侧计算平台。

9.一种计算机设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7任一项所述的模型训练方法。

10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的模型训练方法。