[发明专利]知识蒸馏方法、装置、电子设备及计算机可读存储介质

权利要求书

1.一种知识蒸馏方法，包括：

将相同的待处理数据分别输入教师网络和学生网络；

分别获取所述教师网络和所述学生网络针对所述待处理数据生成的预定信息，并执行以下预定处理：根据所述预定信息构建正样本对和负样本对，根据所述正样本对和所述负样本对生成对比损失；

根据所述对比损失更新所述学生网络。

2.根据权利要求1所述的方法，还包括：

所述将相同的待处理数据分别输入教师网络和学生网络之前，获取训练完成的所述教师网络以及随机初始化后的所述学生网络。

3.根据权利要求1所述的方法，其中，所述预定信息包括：中间特征和/或输出结果。

4.根据权利要求3所述的方法，其中，

所述中间特征包括：中间特征图；

所述输出结果包括：输出图像；

所述根据所述预定信息构建正样本对和负样本对包括：

从所述学生网络的中间特征图或输出图像中选取一个像素点，作为参考像素点；

从所述教师网络的对应图像中选取P个像素点，P为大于一的正整数，其中一个像素点与所述参考像素点的位置相同；

根据选取的像素点的特征构建所述正样本对和所述负样本对。

5.根据权利要求4所述的方法，其中，所述根据选取的像素点的特征构建所述正样本对和所述负样本对包括：

利用所述参考像素点的特征及与所述参考像素点位置相同的像素点的特征组成所述正样本对；

分别利用所述参考像素点的特征及与所述参考像素点位置不同的各像素点的特征组成负样本对。

6.根据权利要求4所述的方法，还包括：

分别对所述正样本对和所述负样本对中的特征进行特征对齐和归一化处理。

7.根据权利要求4所述的方法，其中，所述根据所述正样本对和所述负样本对生成对比损失包括：

根据所述正样本对和所述负样本对中的特征进行预定运算，将运算结果作为所述对比损失。

8.根据权利要求1～7中任一项所述的方法，还包括：

在生成所述对比损失之后，若确定获取到的对比损失的数量小于M，M为大于一的正整数，则重复执行所述预定处理，否则，根据所述对比损失更新所述学生网络。

9.根据权利要求8所述的方法，其中，所述根据所述对比损失更新所述学生网络包括：

计算获取到的M个对比损失之和，将得到的和作为蒸馏损失；

根据所述蒸馏损失更新所述学生网络。

10.一种知识蒸馏装置，包括：第一处理模块、第二处理模块以及第三处理模块；

所述第一处理模块，用于将相同的待处理数据分别输入教师网络和学生网络；

所述第二处理模块，用于分别获取所述教师网络和所述学生网络针对所述待处理数据生成的预定信息，并执行以下预定处理：根据所述预定信息构建正样本对和负样本对，根据所述正样本对和所述负样本对生成对比损失；

所述第三处理模块，用于根据所述对比损失更新所述学生网络。

11.根据权利要求10所述的装置，其中，

所述第一处理模块进一步用于，所述将相同的待处理数据分别输入教师网络和学生网络之前，获取训练完成的所述教师网络以及随机初始化后的所述学生网络。

12.根据权利要求10所述的装置，其中，所述预定信息包括：中间特征和/或输出结果。