[发明专利]蒸馏学习方法、装置、计算机设备和存储介质

权利要求书

1.一种蒸馏学习方法，其特征在于，所述方法包括：

将目标图像分别输入教师网络和学生网络，得到所述教师网络输出的教师特征图和所述学生网络输出的学生特征图；

将所述教师特征图和所述学生特征图进行通道匹配，根据匹配结果获取所述教师特征图和所述学生特征图之间的目标损失值；

根据所述目标损失值调整所述学生网络中的参数，得到目标学生网络。

2.根据权利要求1所述的方法，其特征在于，所述将所述教师特征图和所述学生特征图进行通道匹配，包括：

将所述教师特征图和所述学生特征图的通道按照通道类型分别进行编号，得到教师通道编号和学生通道编号；其中，相同通道类型的所述教师通道编号和所述学生通道编号相同；

遍历所述教师通道编号和所述学生通道编号进行对应所述教师特征图的通道和所述学生特征图的通道的编号匹配。

3.根据权利要求2所述的方法，其特征在于，所述遍历所述教师通道编号和所述学生通道编号进行对应所述教师特征图的通道和所述学生特征图的通道的编号匹配，包括：

按照所述教师通道编号由小到大的顺序，将每一所述教师特征图的通道再以所述学生通道编号由小到大的顺序，依次与每一所述学生特征图的通道进行编号匹配。

4.根据权利要求1所述的方法，其特征在于，在所述根据匹配结果获取所述教师特征图和所述学生特征图之间的目标损失值之前，包括：

根据所述教师特征图进行softmax计算，得到第一概率分布；

根据所述学生特征图进行softmax计算，得到第二概率分布；

相应地，所述根据匹配结果计算所述教师特征图和所述学生特征图之间的目标损失值，包括：

根据所述匹配结果、所述第一概率分布以及所述第二概率分布计算所述目标损失值。

5.根据权利要求4所述的方法，其特征在于，所述根据所述匹配结果、所述第一概率分布以及所述第二概率分布计算所述目标损失值，包括：

获取通道匹配的教师特征图的第一概率分布，和学生特征图的第二概率分布；

根据通道匹配的第一概率分布和第二概率分布上的概率值计算教师特征图和学生特征图之间的第一KL散度，取所述第一KL散度的正值，作为第一损失值；

获取通道不匹配的教师特征图的第一概率分布，和学生特征图的第二概率分布；

根据通道不匹配的第一概率分布和第二概率分布上的概率值计算教师特征图和学生特征图之间的第二KL散度，取所述第二KL散度的负值，作为第二损失值；

根据所述第一损失值和所述第二损失值，得到所述目标损失值。

6.根据权利要求5所述的方法，其特征在于，所述根据所述第一损失值和所述第二损失值，得到所述目标损失值，包括：

将所述第一损失值加上所述第二损失值，得到所述目标损失值。

7.根据权利要求1所述的方法，其特征在于，所述根据所述目标损失值调整所述学生网络中的参数，得到目标学生网络，包括：

根据所述目标损失值调整所述学生网络中的参数，直至参数调整后的学生网络所得到的目标损失值小于预设损失值，将所述参数调整后的学生网络作为所述目标学生网络。

8.一种蒸馏学习装置，其特征在于，所述装置包括：

特征输出模块，用于将目标图像分别输入教师网络和学生网络，得到所述教师网络输出的教师特征图和所述学生网络输出的学生特征图；

通道匹配模块，用于将所述教师特征图和所述学生特征图进行通道匹配，根据匹配结果获取所述教师特征图和所述学生特征图之间的目标损失值；

参数调整模块，用于根据所述目标损失值调整所述学生网络中的参数，得到目标学生网络。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。