[发明专利]蒸馏学习方法、装置、计算机设备和存储介质

说明书

本申请涉及一种蒸馏学习方法、装置、计算机设备和存储介质。所述方法包括：将目标图像分别输入教师网络和学生网络，得到教师网络输出的教师特征图和学生网络输出的学生特征图；将教师特征图和学生特征图进行通道匹配，根据匹配结果获取教师特征图和学生特征图之间的目标损失值；根据目标损失值调整学生网络中的参数，得到目标学生网络。采用本方法能够提高学生网络对教师网络的蒸馏学习效果，减小学生网络与教师网络的性能差异。

技术领域

本申请涉及机器学习技术领域，特别是涉及一种蒸馏学习方法、装置、计算机设备和存储介质。

背景技术

随着机器学习技术的发展，出现了蒸馏学习技术，蒸馏学习采用的是迁移学习，利用预先训练好的复杂网络模型(教师网络，Teacher model)的输出作为监督信号去训练另外一个简单的网络模型(学生网络，Student model)，以获得结构精简且计算复杂度低，同时具有教师网络的知识的学生网络。

传统技术中，大多从像素点级的蒸馏、关系对蒸馏以及基于判别器的全局蒸馏这3个方面进行展开，但其蒸馏学习效果较差，得到的学生网络与教师网络的性能相差很大。

发明内容

基于此，有必要针对上述技术问题，提供一种蒸馏学习方法、装置、计算机设备和存储介质。

一种蒸馏学习方法，所述方法包括：

将目标图像分别输入教师网络和学生网络，得到所述教师网络输出的教师特征图和所述学生网络输出的学生特征图；

将所述教师特征图和所述学生特征图进行通道匹配，根据匹配结果获取所述教师特征图和所述学生特征图之间的目标损失值；

根据所述目标损失值调整所述学生网络中的参数，得到目标学生网络。

在其中一个实施例中，所述将所述教师特征图和所述学生特征图进行通道匹配，包括：

将所述教师特征图和所述学生特征图的通道按照通道类型分别进行编号，得到教师通道编号和学生通道编号；其中，相同通道类型的所述教师通道编号和所述学生通道编号相同；

遍历所述教师通道编号和所述学生通道编号进行对应所述教师特征图的通道和所述学生特征图的通道的编号匹配。

在其中一个实施例中，所述遍历所述教师通道编号和所述学生通道编号进行对应所述教师特征图的通道和所述学生特征图的通道的编号匹配，包括：

按照所述教师通道编号由小到大的顺序，将每一所述教师特征图的通道再以所述学生通道编号由小到大的顺序，依次与每一所述学生特征图的通道进行编号匹配。

在其中一个实施例中，在所述根据匹配结果获取所述教师特征图和所述学生特征图之间的目标损失值之前，包括：

根据所述教师特征图进行softmax计算，得到第一概率分布；

根据所述学生特征图进行softmax计算，得到第二概率分布；

相应地，所述根据匹配结果计算所述教师特征图和所述学生特征图之间的目标损失值，包括：

根据所述匹配结果、所述第一概率分布以及所述第二概率分布计算所述目标损失值。

在其中一个实施例中，所述根据所述匹配结果、所述第一概率分布以及所述第二概率分布计算所述目标损失值，包括：

获取通道匹配的教师特征图的第一概率分布，和学生特征图的第二概率分布；

根据通道匹配的第一概率分布和第二概率分布上的概率值计算教师特征图和学生特征图之间的第一KL散度，取所述第一KL散度的正值，作为第一损失值；

获取通道不匹配的教师特征图的第一概率分布，和学生特征图的第二概率分布；