[发明专利]基于空间注意力机制的自适应知识蒸馏方法

权利要求书

1.基于空间注意力机制的自适应知识蒸馏方法，其特征在于，在特征蒸馏的过程中，通过引入空间注意力机制，学生网络会更加关注难度较大的样本对应的特征区域，忽略难度较小的样本对应的特征区域，从而使学生网络的知识蒸馏过程更加高效和有针对性。

2.根据权利要求1所述的具体基于空间注意力机制的自适应知识蒸馏方法，其特征在于，包括以下步骤：

(1)评估样本的难易程度：在训练检测器的过程中，网络会对每一个样本产生分类损失和回归损失，采用样本分类损失值评估样本的难易程度，如果样本分类损失值大于阈值，则该样本进入步骤(2)；如果样本分类损失值小于阈值，则忽略该样本；

(2)构建空间注意力图：使用单调递增函数为每一个进入该步骤的样本赋予一个蒸馏权重值；将每一个样本的蒸馏权重值映射到教师网络特征图对应的空间位置，得到和特征图大小相同的空间注意力图；

(3)完成学习过程：利用空间注意力图对教师网络的特征图的每个位置进行加权，指导学生网络的学习过程。

3.根据权利要求1或2所述基于空间注意力机制的自适应知识蒸馏方法，其特征在于，所述教师网络为在PASCAL VOC数据集上训练一个VGG16-SSD检测器得到，在进行知识蒸馏过程之前对教师网络进行初始化，结构上只保留主干网络部分。

4.根据权利要求1或2所述基于空间注意力机制的自适应知识蒸馏方法，其特征在于，所述学生网络的主干部分选用1/n的VGG16网络，并在学生网络的conv4-3,fc7,conv6-2,conv7-2,conv8-2和conv9-2层上添加检测头、注意力图产生结构以及和教师网络对应层之间的损失函数。

5.根据权利要求2所述基于空间注意力机制的自适应知识蒸馏方法，其特征在于，采用如下公式为每一个样本赋予权重值：

w_k为样本的蒸馏权重值，l_k是样本S_k的分类损失值，α和β为超参数，w_max作为蒸馏权重的上限值。

6.根据权利要求1或2所述基于空间注意力机制的自适应知识蒸馏方法，其特征在于，学生网络的通道数比教师网络的通道数少，于是使用一个1*1的卷积层加Relu对学生网络的特征层进行升维，使之达到和对应教师网络特征相同的维度。

7.根据权利要求2所述基于空间注意力机制的自适应知识蒸馏方法，其特征在于，采用两个损失函数监督学生网络的学习过程，所述两个损失函数分别是目标检测器正常的检测损失函数和注意力机制引导的蒸馏损失函数，其中目标检测器正常的检测损失函数包括分类损失函数和回归损失函数。

8.根据权利要求7所述基于空间注意力机制的自适应知识蒸馏方法，其特征在于，样本的总体损失函数为：

L_total＝L_det+λ₁L_dis；

检测损失函数的形式为：

L_det＝L_cls+λ₂L_reg；

注意力机制引导的蒸馏损失函数为一个加权的L₂范数损失函数，具体为：

其中，L_total为样本的总体损失函数，L_det为检测损失函数，L_dis为注意力机制引导的蒸馏损失函数，L_cls为分类损失函数，L_reg为回归损失函数，λ₁和λ₂为不同损失函数之间的平衡因子；M是检测器用来预测的特征层的个数，A_m是属于第m个特征层的空间注意力图，T_m是教师网络的特征，R(S_m)是经过升维后的学生网络的特征。

9.根据权利要求2所述基于空间注意力机制的自适应知识蒸馏方法，其特征在于，所述步骤(2)，阈值为0.01。