[发明专利]一种基于语义特征和度量学习的小样本目标检测方法及系统

说明书

本发明公开了一种基于语义特征和度量学习的小样本目标检测方法及系统，将查询图对应的类别语义名称作为知识，使用自然语言处理领域的word2vec工具计算对应的词向量作为语义特征，并与查询图的图像特征进行融合。通过将语义特征嵌入视觉域中，利用同类别目标在语义空间中具有的语义一致性，减少同类别目标间的距离，利用不同语义类别目标在语义空间中具有的语义差异性，增加不同类目标之间的距离，缓解现有基于度量学习的小样本目标检测模型出现的不同类别但外观视觉较相似目标的错检问题和相同语义类别但外观视觉差异较大的漏检的问题，提升在基类与新类上的检测精度。

技术领域

本发明属于图像检测技术领域，具体涉及一种基于语义特征和度量学习的小样本目标检测方法及系统。

背景技术

深度学习模型在目标检测任务中取得了巨大的成功主要是因为深度神经网络可以从数据中学习更高级、更深层次的特征。然而深度学习模型严重依赖于大量的带标签数据，但人工数据标注费时费力、价格昂贵，并且在某些应用领域本来就没有足够的数据积累。深度学习在数据密集型的应用中达到了令人满意的效果，然而当带标签的数据样本很少时或数据集很小时，会受到阻碍。

基于度量学习的小样本目标检测模型的输入是查询-目标图像对，输出是目标图像中与查询图像相似的区域。模型在基类上训练时，查询图像与目标图像的标签都是已知的，训练的目的是学习查询图像和目标图像之间的相似性度量，与类别无关，然后在测试阶段直接将学习到的度量用到新类数据集上。基于度量学习的小样本目标检测模型的本质思想是学习目标图像中各候选框与查询图像之间在视觉域空间中的相似性度量。该类模型只关注候选框内前景对象的视觉域特征与查询图像的视觉域特征是否相似，不去关注待检测目标具体属于哪一类，与类别无关，查询图像的目标类别信息并没有被用到。因此，使用该类模型进行小样本目标检测，会出现不同类相似目标的错检问题和同类不相似目标的漏检的问题。

而类别所对应的语义域知识，如类别名称、类别属性等都是对一个类别的概括。不论目标之间在视觉域中存在多大的差异，对于同类的所有目标来说，其类别名称都是固定不变的；并且对于不同类目标来说，不论在视觉上多么接近，其类别名称都是有差异性的。零样本学习方法使用了视觉域与语义域两个域的信息，通过学习视觉域与语义域之间的联系，实现了给定新类语义域信息(类别属性、类别名称等)，在没有视觉域图像数据的场景下对新类类对象的识别。因此，考虑到已有基于度量学习的模型存在的问题，结合零样本学习思想，本发明利用已有模型未用到的查询图像的类别名称作为语义知识，通过自然语言处理领域中word2vec工具计算每个类别名称对应的词向量，将其作为语义特征，设计合理的特征对齐模块，将语义特征嵌入到视觉特征中，实现知识传递，以获得更好、更丰富的查询图像的特征，进而提升检测结果。

目前基于度量学习的小样本目标检测方法主要通过学习目标图像中各候选框与查询图像之间的相似性度量，不论是在训练过程还是在测试过程，模型只关注候选框与查询图像是否为相似区域，而不去关注具体的类别。使用该类方法进行小样本目标检测，会出现不同类相似目标的错检问题和同类不相似目标的漏检的问题。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于语义特征和度量学习的小样本目标检测方法及系统，在训练过程中，通过利用基类中查询图像已知的类别标签作为语义知识，使用自然语言处理领域中的word2vec工具计算对应的语义特征，将该语义特征传递到视觉域空间中，与视觉域特征结合，得到包含类别语义信息的特征。通过引入该语义信息，拉大不同类目标之间的距离，缩小同类目标间的距离；解决同类目标外观可能差异太大，不同类目标外观可能差异太小所导致的错检、漏检的问题，提升在基类与新类数据上的检测精度。

本发明采用以下技术方案：

一种基于语义特征和度量学习的小样本目标检测方法，包括以下步骤：

S1、对类别集合C进行划分，根据类别划分得到基类类别与新类类别，并根据基类类别与新类类别将图像数据集划分为基类图像数据集与新类图像数据集；