[发明专利]一种模型蒸馏方法、装置、电子设备及存储介质

权利要求书

1.一种模型蒸馏方法，其特征在于，包括：

获得预先训练的第一网络模型和未经训练的第二网络模型，所述第一网络模型的网络参数多于所述第二网络模型的网络参数；

从所述第一网络模型中的第一批量正则化层中提取出第一参数和第二参数，所述第一参数影响网络模型的特征分布的方差，所述第二参数影响网络模型的特征分布的均值；

根据所述第一参数和所述第二参数对所述第二网络模型中的第二批量正则化层进行初始化，获得初始化后的第二网络模型；

使用所述第一网络模型对所述初始化后的第二网络模型进行蒸馏训练，获得蒸馏训练后的第二网络模型；

其中，所述获得预先训练的第一网络模型，包括：获得多个训练图像和所述多个训练图像对应的标签表，所述多个训练图像包括目标对象的原始图像和对所述原始图像进行空间变换获得的变换图像，所述标签表包括所述目标对象的至少一个标签；以所述多个训练图像为训练数据，以所述多个训练图像对应的标签表为训练标签，对预先构建的第一神经网络进行训练，获得训练后的所述第一网络模型；

所述使用所述第一网络模型对所述初始化后的第二网络模型进行蒸馏训练，包括：根据所述第一批量正则化层对应的特征值和所述第二批量正则化层对应的特征值构建蒸馏损失函数，所述蒸馏损失函数表征所述第一网络模型和所述第二网络模型的蒸馏损失，所述第一批量正则化层对应的特征值和所述第二批量正则化层对应的特征值均在批量正则化层之后且在激活函数计算之前的特征值；根据所述第一网络模型的分类损失函数和所述蒸馏损失函数对所述初始化后的第二网络模型进行蒸馏训练，所述分类损失函数表征所述第一网络模型对输入数据进行预测的分类标签与训练标签的分类任务损失，所述蒸馏损失函数表示为L＝αL_D+L_T；其中，L_T表示人体图像多属性分类任务损失，α是平衡损失数量级的超参数，L_D是平方差损失函数，I表示输入图像，T(I)和S(I)表示对应是模块中在第一个BN层后且在激活函数之前的特征值，L表示总损失函数，总损失函数表征第一网络模型和第二网络模型的蒸馏损失以及人体图像多属性分类任务损失的加权和。

2.根据权利要求1所述的方法，其特征在于，在所述对预先构建的第一神经网络进行训练之前，还包括：

获得分类神经网络，所述分类神经网络包括：特征识别网络和归一化指数层；

从所述分类神经网络中删除所述归一化指数层，获得所述特征识别网络；

根据所述特征识别网络和全连接层构建所述第一神经网络。

3.根据权利要求1所述的方法，其特征在于，所述从所述第一网络模型中的第一批量正则化层中提取出第一参数和第二参数，包括：

从所述第一网络模型中的多个批量正则化层筛选出至少一个第一批量正则化层，所述第一批量正则化层为跨步卷积计算之前的正则化层；

从所述第一批量正则化层中提取出所述第一参数和所述第二参数。

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一参数和所述第二参数对所述第二网络模型中的第二批量正则化层进行初始化，包括：

判断所述第一批量正则化层对应模块的通道数量是否大于所述第二批量正则化层对应模块的通道数量；

若是，则使用所述第一批量正则化层中的第一参数对所述第二批量正则化层中的第一参数进行赋值，并使用所述第一批量正则化层中的第二参数对所述第一批量正则化层中的第二参数进行赋值。

5.根据权利要求1-4任一所述的方法，其特征在于，在所述获得蒸馏训练后的第二网络模型之后，还包括：

对待预测图像进行归一化处理，获得归一化后的图像；

使用所述蒸馏训练后的第二网络模型对所述正则化后的图像进行预测，获得所述待预测图像对应的预测结果。