[发明专利]一种基于解耦特征和对抗特征的知识蒸馏方法

权利要求书

1.一种基于解耦特征和对抗特征的知识蒸馏方法，其特征在于，包括以下步骤：

S1、构建教师网络和学生网络；使用样本图像对教师网络训练，直至教师网络达到设定要求；

S2、将样本图像输入步骤S1训练完成的教师网络，以及学生网络，得到两个网络的骨干网络输出的第一特征图；

S3、将步骤S2得到的第一特征图作为解耦特征模块的输入，根据解耦特征模块的结果进行梯度回传更新学生网络参数；所述解耦特征模块用于让学生网络同时分别学习教师网络的目标特征信息和背景特征信息；

S4、将步骤S2得到的第一特征图作为对抗特征模块的输入，训练对抗特征模块，同时根据对抗特征模块结果进行梯度回传更新学生网络参数；所述对抗特征模块用于让学生网络学习教师网络输出的特征图的全局分布特性；

S5、将样本图像输入步骤S1训练完成的教师网络和步骤S4训练后的学生网络，将两个网络的骨干网络输出的第一特征图输入到各自的区域建议网络，得到包含分类和回归的候选框的第二特征图；将上述第二特征图作为候选框特征学习模块的输入，根据候选框特征学习模块的结果进行梯度回传并更新学生网络的参数；所述候选框特征学习模块用于让学生网络学习教师网络候选框的特征信息；

S6、检测头网络根据第二特征图中的候选框截取的信息，做进一步的分类和回归，得到最终的检测结果；并根据结果进行梯度回传更新学生网络的参数；

S7、重复步骤S2-S6，直至学生网络达到设定要求。

2.根据权利要求1所述的一种基于解耦特征和对抗特征的知识蒸馏方法，其特征在于：所述教师网络和学生网络都采用目标检测网络Faster RCNN，其中教师网络使用骨干网络为ResNet101的Faster RCNN，学生网络使用骨干网络为ResNet18的Faster RCNN。

3.根据权利要求1所述的一种基于解耦特征和对抗特征的知识蒸馏方法，其特征在于：所述样本图像在输入教师网络和学生网络前，短边缩放至设定长度，长边按照原图的长宽比进行相应的缩放；所述梯度回传采用随机梯度下降法。

4.根据权利要求1所述的一种基于解耦特征和对抗特征的知识蒸馏方法，其特征在于：所述教师网络和学生网络对输入的样本图像具有相同的下采样倍数；所述学生网络最后一层设置为1*1卷积层用以调整其输出特征图的通道数等于教师网络输出特征图的通道数。

5.根据权利要求1-4任一项所述的一种基于解耦特征和对抗特征的知识蒸馏方法，其特征在于：所述样本图像人工标注有若干标注框，根据标注框为教师网络和学生网络输出的第一特征图设置一个二值掩码M，M取值为1或0，当M取值为1表示第一特征图的该区域包含的是目标特征信息；当M取值为0表示第一特征图的该区域包含的是背景特征信息；所述解耦特征模块的输出结果为解耦特征损失函数L_DF用于表示学生网络和教师网络输出的第一特征图中目标特征信息和背景特征信息的偏差，L_DF计算公式如下：

其中，F_t为教师网络输出的第一特征图对应区域的图片特征，F_s为学生网络输出的第一特征图对应区域的图片特征；和分别为目标特征信息和背景特征信息的调整系数；N_obj和N_bg分别为第一特征图中包含目标特征信息和背景特征信息的区域的数量；A(·)表示用来调整学生网络输出特征图通道数的1*1卷积运算；H、W和C分别为第一特征图的高、宽和通道数。