[发明专利]基于空间注意力机制的自适应知识蒸馏方法

说明书

本发明公开了一种基于空间注意力机制的自适应知识蒸馏方法，属于计算机视觉和模式识别技术领域。该方法利用每个样本的分类损失值评估样本的难易程度，若分类损失值大于阈值，则该样本较难，给予该样本更多关注；若分类损失值小于阈值，则忽略该样本；然后，使用单调递增函数为每一个较难的样本赋予蒸馏权重值；将样本的蒸馏权重值映射到特征图对应的空间位置，得到和特征图大小相同的注意力图；最后在进行网络蒸馏时利用注意力图对特征图的每个位置进行加权，指导学生网络的学习过程。该方法基于空间注意力机制，能够引导学生网络关注比较困难的样本的特征学习，从而提升学生网络的性能。

技术领域

本发明属于计算机视觉和模式识别技术领域，具体涉及基于空间注意力机制的自适应知识蒸馏方法。

背景技术

目标检测是计算机视觉中的一项基础任务，是很多计算机视觉任务的前提。很多实际应用场景都对检测器的模型大小和推理时间提出了严格的要求。因此，如何设计一种小而精的检测器成为了目标检测领域的一个研究热点。

在深度学习时代，目标检测器主要可划分成两大类：双阶段检测器和单阶段检测器。双阶段检测器首先通过RPN(Region Proposal Network)产生候选框，然后利用RoIPooling得到的特征对在第二个阶段产生的候选框进行类别细分和边框微调。相比于双阶段检测器，单阶段的检测器结构更简单。单阶段检测器没有显式产生候选框的过程，而是直接对每一个anchor进行类别预测和边框回归。由于单阶段检测器没有第二个阶段的微调，所以速度上对比双阶段检测器更有优势。

为了进一步减小网络模型大小，提升网络推理速度。研究者提出了很多方法，比如：轻量级网络结构设计，网络剪枝，量化压缩，知识蒸馏等。通过设计轻量级的网络结构，模型的计算复杂度可以得到一定程度的削减，进而减少推理时间。网络剪枝通过裁剪冗余的，不重要的通道来减小模型大小以及推理时间。量化通过将网络的浮点数运算转换为定点数运算来减小网络的计算开销，同时尽可能的保持精度。知识蒸馏通过在训练小容量的学生网络的过程中引入大容量的教师网络的监督，来将教师网络学习到的知识“传授”给学生网络，从而提升学生网络的精度。相比于前三种方法，知识蒸馏不需要对网络的结构和参数进行改变，操作起来比较方便，并且可以和前三种方法结合起来使用。

发明内容

针对现有技术中存在的问题，本发明要解决的技术问题在于提供一种基于空间注意力机制的自适应知识蒸馏方法，该方法基于空间注意力机制，能够引导学生网络关注于比较困难的样本的特征学习，从而提升学生网络的性能。

为了解决上述问题，本发明所采用的技术方案如下：

基于空间注意力机制的自适应知识蒸馏方法，在特征蒸馏的过程中，通过引入空间注意力机制，学生网络会更加关注难度较大的样本对应的特征区域，忽略难度较小的样本对应的特征区域，从而使学生网络的知识蒸馏过程更加高效和有针对性。具体包括以下步骤：

(1)评估样本的难易程度：在训练检测器的过程中，网络会对每一个样本产生分类损失和回归损失，采用样本分类损失值评估样本的难易程度，如果样本分类损失值大于阈值，则该样本进入步骤(2)；如果样本分类损失值小于阈值，则学生网络忽略该样本；

(2)构建空间注意力图：使用单调递增函数为每一个进入该步骤的样本赋予一个蒸馏权重值；将每一个样本的蒸馏权重值映射到教师网络特征图对应的空间位置，得到和特征图大小相同的空间注意力图；

(3)完成学习过程：利用空间注意力图对教师网络的特征图的每个位置进行加权，指导学生网络的学习过程。

所述基于空间注意力机制的自适应知识蒸馏方法，所述教师网络为在PASCAL VOC数据集上训练一个VGG16-SSD检测器得到的，在进行知识蒸馏过程之前对教师网络进行初始化，结构上只保留主干网络部分。