[发明专利]一种多尺度特征提取及融合方法及装置

权利要求书

1.一种多尺度特征提取及融合方法，其特征在于通过多个不同的Faster R-CNN深度学习网络进行多尺度特征提取，得到多组不同的特征集，并对上述多组不同的特征集进行DCA特征融合，所述每个特征集均包括多个维度相同的特征向量；所述方法包括如下步骤：

将原图片分别输入每个学习网络，每个学习网络均为Faster R–CNN深度学习网络，包括卷积层网络、RPN网络以及Fast R-CNN网络；

每个学习网络中，通过卷积层对原图片进行提取，得到特征图，通过RPN网络对特征图进行目标检测及精确定位，得到候选框，并通过Fast R-CNN网络中RoI池化层对候选框进行最大池化操作，输出一组包括多个维度相同的特征向量的特征集；

将提取的多组不同的特征集进行DCA特征融合，使得类内的相关性最大化、类间的相关性最小，得到融合矩阵。

2.根据权利要求1所述的一种多尺度特征提取及融合方法，其特征在于所述卷积层网络包括：

卷积层，所述卷积层至少一个，每个卷积层均进行了扩边处理；

relu层，所述relu层至少一个并与卷积层一一对应，每个卷积层的输出端对应有一个relu层组成卷积激活层组；

池化层，所述池化层至少一个，上述池化层分布在所述卷积激活层组之间。

3.根据权利要求2所述的一种多尺度特征提取及融合方法，其特征在于每个卷积层中填充像素为1，步长为1；

每个池化层中填充像素为0，步长为2。

4.根据权利要求1、2或3所述的一种多尺度特征提取及融合方法，其特征在于通过RPN网络对特征图进行目标检测及精确定位，包括如下步骤：

通过RPN网络对特征图进行卷积计算，得到尺度变换后特征图；

基于softmax函数对尺度变换后特征图中锚框进行分类，得到含有目标物体的前景候选区以及含有背景的背景候选区，所述前景候选区和背景候选区均多个；

基于bounding box regression原理计算尺度变换后特征图中锚框的边框回归偏移量，得到多个精确候选区；

通过Proposal层综合上述多个前景候选区和多个精确候选区，得到多个预候选区，并基于NMS剔除尺寸太小以及超出边界的预候选区域，得到精确候选框。

5.根据权利要求1、2或3所述的一种多尺度特征提取及融合方法，其特征在于通过FastR-CNN网络中RoI池化层对候选框进行最大池化操作，包括如下步骤：

将精确候选框映射到特征图对应位置，在特征图上得到映射后精确候选区域；

将映射后精确候选区域输入ROI网络，通过ROI网络进行shape适配，将映射后精确候选区域划分为多个大小相同的子窗口，并对每个子窗口进行最大池化操作，得到多个维度相同的特征，组成一个特征集。

6.根据权利要求1、2或3所述的一种多尺度特征融合方法，其特征在于将提取的多组不同的特征集进行DCA特征融合包括如下步骤：

L1、基于二分的方式对上述多组特征集进行分组，得到若干组特征集组，如果上述多组特征集的总个数N为偶数，每相邻的两个特征集组成一组特征机组，共得到N/2组特征集组，如果上述多组特征集的总个数N为奇数，第N/2+1个特征集单独组成一组特征集组，第N/2+1个之前以及之后的多组特征集中每相邻的两组特征集组成一组特征集，共得到N/2+1组特征集组；

L2、对于每组特征集组，对特征集组中的两组特征集进行DCA特征融合，得到一组新的特征集；

如果上述多组特征集的总个数N为偶数，得到N/2组新的特征集，如果上述多组特征集的总个数N为奇数，得到N/2+1组新的特征集；

L3、对于上述步骤L2得到的多组新的特征集，按照L1和L2的步骤循环进行DCA特征融合，直至只输出一组新的特征集。