[发明专利]一种基于知识蒸馏的少样本目标检测方法

说明书

本发明提供一种基于知识蒸馏的少样本目标检测方法，其特征在于，包括如下步骤：构建带有标注和标签的图片数据库，使其满足少样本目标检测的条件，并进行一定的数据增强扩充样本的多样性，分为联合训练数据和微调训练数据；选择目标检测框架和backbone网络，构建网络模型，使用联合训练数据训练网络模型，得到权重模型；使用微调训练数据微调步骤二得到的第一权重模型，得到新权重模型，称为第二权重模型；将第二步得到的第一权重模型作为学生网络，第三步得到的第二权重模型作为教师网络，再次使用微调训练数据，根据教师网络对于该微调训练数据的测试结果来进行知识蒸馏，实现微调学生网络权重，得到最终第三权重模型。

技术领域

本发明属于少样本物体检测领域，涉及一种少样本目标检测方法，利用知识蒸馏来微调少样本目标检测网络以改善在该条件下的网络过拟合。

背景技术

在计算机视觉领域，目标检测是一个非常热门的研究课题。尤其是随着卷积神经网络(CNN)的提出并广泛应用于图像处理领域，目标检测得到了快速的发展，并取得了显著的成就^[1]。但是一般的基于CNN的目标检测框架往往需要经过一个大型的数据集训练。当面对一项仅有罕见样本的检测任务时，当前目标检测往往不能取得令人满意的效果，这也是一般目标检测技术的局限性。其主要原因是，CNN的表征能力过于强大，当面对样本过少的情况时，过度拟合了这些样本，导致了在新的样本上缺少泛化能力，进而降低了检测能力。因此，为了改善目标检测在少样本条件下的检测性能，必须考虑一种有效改善网络过拟合的方法。

过拟合是指在模型参数拟合过程中的问题，由于训练数据包含抽样误差，训练时，复杂的模型将抽样误差也考虑在内，将抽样误差也进行了很好的拟合。它的主要表现就是模型在训练集上效果好，在测试集上效果差，模型泛化能力弱。在样本数量极少的情况下，目标检测网络及易发生这种过拟合。针对这个问题，目前已经有了一些解决方法。一些研究者使用基于数据增强的方法，通过增加样本复杂度来形成对神经网络模型的干扰来改善过拟合问题，但是这种方法对于极少样本的情况(如仅有1个或2个等)仍然不适用。最近一些研究者使用了元学习的方法^[2]，这类方法通过任务学习模式让神经网络具有再学习的能力，之后很好的学习到那些少量样本的知识。这种方法虽然在少样本目标检测领域取得了一些进展，但是它们往往需要添加额外的元学习模块来增强模型对那些少量样本的表征能力，不具有普遍性，结构较为复杂。

知识蒸馏(KD)是想将复杂模型(教师)中的暗知识迁移到简单模型(学生)中去，一般来说，教师模型具有强大的能力和表现，而学生模型则更为紧凑。通过知识蒸馏，希望学生模型能尽可能逼近亦或是超过教师，从而用更少的复杂度来获得类似的预测效果^[3]。目前，知识蒸馏在CNN中的应用主要有两种模式：(1)一般蒸馏模式，即不同模型间的蒸馏，为了进行模型间的知识迁移。(2)自蒸馏模式，即相同模型间的蒸馏，将蒸馏视为一种正则化方式，改善网络模型。因此，自知识蒸馏可以作为一种训练方法应用于少样本目标检测任务中，通过自知识蒸馏来对网络本身进行再训练，减轻少样本条件下神经网络的过拟合程度，且不需要添加额外的模块。

[1]刘栋,李素,曹志冬.深度学习及其在图像物体分类与检测中的应用综述[J].计算机科学,2016,(12):13-23.

[2]潘兴甲,张旭龙,董未名,等.少样本目标检测的研究现状[J].南京信息工程大学学报(自然科学版),2019(6).

[3]Hinton G,Vinyals O,Dean J.Distilling the Knowledge in a NeuralNetwork[J].Computer Science,2015,14(7):38-39.

发明内容

针对少样本目标检测中网络的过拟合问题，本发明提供一种基于知识蒸馏的少样本目标检测方法，它可以方便、通用、准确地的对过拟合的网络进行近似化处理来改善过拟合。让一般目标检测框架拥有更好的少样本检测性能。技术方案如下：