[发明专利]知识蒸馏和图像处理方法、装置、电子设备和存储介质

权利要求书

1.一种知识蒸馏方法，其特征在于，所述方法包括：

分别利用学生模型与教师模型，对图像数据集进行图像处理，得到第一输出特征与第二输出特征；

基于所述第一输出特征与所述第二输出特征，确定所述第一输出特征包括的各通道的特征图与所述第二输出特征包括的各通道的特征图之间匹配的特征图对所处的通道数之间的对应关系；

对所述学生模型进行训练；其中，在每一轮训练中，分别利用所述学生模型与所述教师模型，对输入的样本图像进行图像处理，得到第三输出特征与第四输出特征；确定所述第三输出特征与所述样本图像对应的真实特征之间的误差；利用确定的所述对应关系进行特征对齐操作以使所述第三输出特征包括的各通道的特征图与所述第四输出特征包括的各通道的特征图中，处于相同通道数的特征图之间匹配；进一步确定特征对齐后的所述第三输出特征与所述第四输出特征之间的差距；基于所述误差与所述差距更新所述学生模型的模型参数。

2.根据权利要求1所述的方法，其特征在于，所述分别利用学生模型与教师模型，对图像数据集进行图像处理，得到第一输出特征与第二输出特征，包括：

利用学生模型，对所述图像数据集中的样本图像进行图像处理，得到与所述样本图像分别对应的输出特征；

将与所述样本图像分别对应的输出特征中处于相同位置的像素值进行加权求和，得到所述第一输出特征；

利用教师模型，对所述样本图像进行图像处理，得到与所述样本图像分别对应的输出特征；

将与所述样本图像分别对应的输出特征中处于相同位置的像素值进行加权求和，得到所述第二输出特征。

3.根据权利要求1或2所述的方法，其特征在于，所述基于所述第一输出特征与所述第二输出特征，确定所述第一输出特征包括的各通道的特征图与所述第二输出特征包括的各通道的特征图之间匹配的特征图对所处的通道数的对应关系，包括：

利用二分图匹配算法或贪心匹配算法，确定所述对应关系。

4.根据权利要求3所述的方法，其特征在于，利用贪心匹配算法，确定所述对应关系，包括：

依次将所述第一输出特征包括的各通道的特征图分别作为当前特征图，并执行：确定所述第二输出特征包括的各通道的特征图中，与所述当前特征图匹配的特征图；记录所述当前特征图所处的通道数与所述匹配的特征图所处的通道数之间的子对应关系；

当针对所述第一输出特征的各通道的特征图完成所述匹配后，基于记录的所述子对应关系，确定所述对应关系。

5.根据权利要求3所述的方法，其特征在于，利用二分图匹配算法，确定所述对应关系，包括：

依次将所述第一输出特征包括的各通道的特征图分别作为当前特征图，并执行：根据已维护的对应关系，删除所述第二输出特征包括的各通道的特征图中，已经确定的与所述第一输出特征包括的特征图匹配的特征图；确定所述第二输出特征中剩余的各通道的特征图中，与所述当前特征图匹配的特征图；记录所述当前特征图所处的通道数与所述匹配的特征图所处的通道数之间的子对应关系；

当针对所述第一输出特征的各通道的特征图完成所述匹配后，基于记录的所述子对应关系，确定所述对应关系。

6.根据权利要求1-5任一所述的方法，其特征在于，所述方法还包括：

在分别利用学生模型与教师模型，对图像数据集进行图像处理，得到第一输出特征与第二输出特征之前，通过训练样本集对所述学生模型与所述教师模型进行预训练；

所述方法还包括：

在对所述学生模型进行所述预训练之前，记录所述学生模型对应的初始化参数；

所述对所述学生模型进行训练，包括：

利用记录的所述初始化参数，对所述学生模型进行初始化操作；

对初始化后的所述学生模型进行训练。