[发明专利]一种多尺度特征提取及融合方法及装置

说明书

本发明公开了一种多尺度特征提取及融合方法及装置，属于特征提取及融合，要解决的技术问题为如何在减少噪声和冗余数据的前提下，实现多尺度特征提取和融合。方法，通过多个Faster R‑CNN深度学习网络进行多尺度特征提取，得到多组不同的特征集，并对上述多组不同的特征集进行DCA特征融合，所述每个特征集均包括多个维度相同的特征向量。装置用于通过上述一种多尺度特征提取及融合方法进行多尺度特征提取和融合，所述装置包括特征提取模块和特征融合模块。相较于传统的特征提取和特征融合方法，鲁棒性更好，提高了目标检测的准确率，解决了单一尺度特征可能造成检测误差的问题。

技术领域

本发明涉及特征提取及融合领域，具体地说是一种多尺度特征提取及融合方法及装置。

背景技术

目标检测是计算机视觉的重要研究内容，既是一个挑战也是一个难题。传统的R-CNN目标检测算法，虽然相比之前的目标检测算法有效的提升了识别精度，但是该算法需要对一张图片选出上千个兴趣区域，每个兴趣区域都要放入卷积网络进行识别，这个计算量无疑是非常巨大以至于无法实际运用；Fast R-CNN克服了R-CNN提取深度特征时造成的计算冗余问题，将特征提取，目标分类和边框回归统一到一个结构中，但是目标候选域的提取过程仍然独立于神经网网络之外，成为阻塞检测速度的一个瓶颈。为了解决这一问题，Faster R-CNN算法应运而生，该算法采用了区域提议网络进行目标候选域的生成。在图像中提取的低层特征分辨率更高，包含更多位置、细节信息，但是由于经过的卷积更少，其语义性更低，噪声更多；高层特征具有更强的语义信息，但是分辨率很低，对细节的感知能力较差。传统的多尺度深度学习在append层也就是特征融合层是通过concat和add实现特征融合，但是该方法的融合特征中含有大量的噪声和冗余数据。

如何在减少噪声和冗余数据的前提下，实现多尺度特征提取和融合，是需要解决的技术问题。

发明内容

本发明的技术任务是针对以上不足，提供一种多尺度特征提取及融合方法及装置，来解决如何在减少噪声和冗余数据的前提下，实现多尺度特征提取和融合的问题。

第一方面，本发明提供一种多尺度特征提取及融合方法，通过多个Faster R-CNN深度学习网络进行多尺度特征提取，得到多组不同的特征集，并对上述多组不同的特征集进行DCA特征融合，所述每个特征集均包括多个维度相同的特征向量；所述方法包括如下步骤：

将原图片分别输入每个学习网络，每个学习网络均为Faster R–CNN深度学习网络，包括卷积层网络、RPN网络以及Fast R-CNN网络；

每个学习网络中，通过卷积层对原图片进行提取，得到特征图，通过RPN网络对特征图进行目标检测及精确定位，得到候选框，并通过Fast R-CNN网络中RoI池化层对候选框进行最大池化操作，输出一组包括多个维度相同的特征向量的特征集；

将提取的多组不同的特征集进行DCA特征融合，使得类内的相关性最大化、类间的相关性最小，得到融合矩阵。

作为优选，所述卷积层网络包括：

卷积层，所述卷积层至少一个，每个卷积层均进行了扩边处理；

relu层，所述relu层至少一个并与卷积层一一对应，每个卷积层的输出端对应有一个relu层组成卷积激活层组；

池化层，所述池化层至少一个，上述池化层分布在所述卷积激活层组之间。

作为优选，每个卷积层中填充像素为1，步长为1；

每个池化层中填充像素为0，步长为2。

作为优选，通过RPN网络对特征图进行目标检测及精确定位，包括如下步骤：

通过RPN网络对特征图进行卷积计算，得到尺度变换后特征图；