[发明专利]一种基于跨图像特征融合的小样本检测方法

说明书

本发明公开了一种基于跨图像特征融合的小样本检测方法。本发明主体结构是基于两阶段的目标检测算法Faster‑RCNN构建的小样本学习算法。首先输入查询图像和支持集图像进行特征图的提取，得到的特征图被送入跨图像特征融合模块用支持集中的特征信息来加强查询集中目标特征信息的表达，之后送入改进后的RPN模块生成ROI特征向量，再通过改进后的特征聚合模块对候选框进行筛选并完成支持集向量和ROI特征向量的空间对齐，最后将处理好的ROI和支持集向量送入分类器中进行分类，最终输出目标类型和框的准确定位。最后在PASCAL VOC数据集上设计了多组消融实验和对比实验都获得了良好的检测精度，验证了检测算法的有效性。

技术领域

本发明涉及深度学习中的小样本检测领域，具体涉及小样本条件下的目标检测技术。

背景技术

近些年来，基于深度学习的目标检测技术引起了极大的关注，并已经被应用到实际的工业和日常生活中，例如智能监控，自动驾驶，人脸认证等。当前基于深度学习的目标检测算法，相较于传统的图像算法来说需要用大量的数据进行模型训练。通常标记一个实例需要10秒左右，制作一个数据集需要的上万张数据，标记的过程非常耗时。由于真实数据的分布遵循长尾分布，某些样本数据存在的比例很低，例如：某些医学影像，或者是自然界中某些动植物。随着小样本图像分类算法的发展逐渐丰富，图像领域的小样本学习科研重点逐渐放在了小样本目标检测上。

受到小样本分类算法研究的启发，目前多数小样本目标检测算法大多采用两阶段的方式，即先确定目标的大致位置，然后通过分类器对目标进行分类和位置的精确估计。在两阶段的方式基础上，还需要针对小样本的应用场景做出改变，目前主流的改变可以归纳为采用元学习方法进行训练和测试、聚合支持集和查询集特征、增加特征向量的相关性、修改损失函数提高向量区分度等。因此本发明提出了一种基于跨图像特征融合的小样本检测方法，其中增加了一个跨图像特征融合模块，改进了RPN模块以及特征聚合模块。

发明内容

为了解决小样本条件下的目标检测问题，本发明设计了跨图像特征融合网络用于小样本目标检测。针对RPN容易忽略新类特征信息的问题，设计了跨图像特征融合机制，使用支持集的向量进行对查询集向量进行加权，用于突显查询集图像中的新目标的特征信息，这样能明显的降低RPN对目标的区域的遗漏；针对RPN中二元分类器分类错误可能导致漏失高IOU的建议区域的问题，本发明采用多个分类器并联的策略将漏失的概率降低；针对特征聚合的缺陷，本发明设计了基于排序的特征聚合方式，过滤掉某些与支持集相似度较低的ROI特征向量，并将查询集特征和支持集特征做空间对齐后送入后续分类模块中。

本发明所采用的技术方案是：

步骤1：通过共享的特征提取网络提取支持集和查询集的图像特征记为f_s和f_q，将该组特征图送入跨图像特征融合模块；

步骤2：计算f_s和f_q的相似程度给f_s中的特征图进行加权生成加权后的支持集特征图f′_s；

步骤3：计算f′_s和f_q之间的注意力特征图f_a，并将该注意力特征图f_a与查询集特征图f_q进行矩阵乘法，得出具有支持集注意力信息的查询集特征图f′_q；

步骤4：将f′_q送入改进后的RPN网络中生成候选框，在经过ROI Pooling后生成ROI特征向量，并与f′_s一起送入改进的特征聚合模块生成最终的特征向量送入分类器中进行分类，并送入框回归模块进行预测框的精确定位，输出最终的目标检测结果包含目标类别和目标框坐标。

与现有技术相比，本发明的有益效果是：

(1)相比传统小样本目标检测算法，具有更高的检测精度；