[发明专利]一种基于特征增强和IoU感知的目标检测方法

权利要求书

1.一种基于特征增强和IoU感知的目标检测方法，其特征在于，包括以下步骤：

步骤1：获取目标检测数据集，并对图像进行预处理操作，构成训练数据集；

步骤2：基于两阶段目标检测网络Faster R-CNN，搭建基于特征增强和IoU感知的目标检测网络；

包括以下步骤：

步骤2.1：搭建主干特征提取网络，输入为一张预处理后的图像，输出为该图像的特征图；

步骤2.2：在步骤2.1所述主干特征提取网络后，搭建RoI池化网络，获得步骤2.1中输出特征图的若干感兴趣区域RoI；

步骤2.3：在步骤2.2所述RoI池化网络后，搭建RoI分类回归分支网络，对步骤2.2中获得的若干RoI进行特征提取，并预测每个RoI的分类得分和边界框位置，输出最终的目标检测结果；

步骤2.4：在步骤2.2所述RoI池化网络后搭建语义分割分支网络，根据注意力机制搭建特征增强模块，利用提取的语义分割特征图对步骤2.3所述RoI特征进行增强，包括以下步骤：

步骤2.4.1：对于步骤1所述目标检测数据集，增加像素级别的分割标注；

将输入图像的目标框坐标四舍五入映射到RoI特征图上，将落在目标框内的像素标记为正样本，其余像素标记为负样本；

步骤2.4.2：步骤2.4所述语义分割分支网络的输入为RoI池化层得到的大小为14×14×C的RoI特征图，使用两个3×3的卷积层进行特征提取得到大小为14×14×512的特征图X_mask，对X_mask使用一个3×3的卷积层并使用sigmoid函数进行激活，输出最终的RoI分割预测；

步骤2.4.3：利用特征图X_mask对RoI特征进行增强，具体如下：

设计特征增强模块，其输入包括步骤2.3所述RoI分类回归分支中间层输出的RoI特征和步骤2.4所述语义分割分支中间层输出的特征图X_mask；对于RoI特征，使用一个1×1卷积将特征图的通道数由C变换为512维；对于语义分割特征X_mask，首先使用双线性插值算法对其进行下采样，之后使用1×1卷积对其进行特征变换，使用sigmoid函数得到像素级别的注意力图，最终将RoI分支的特征图与注意力图相乘，得到增强后的特征图；

步骤2.5：在步骤2.2所述RoI池化网络后搭建IoU预测分支网络，其输入为步骤2.4所述语义分割分支网络提取的语义分割特征图，输出为预测的RoI和其匹配的真实目标框之间的IoU；

步骤3：构建损失函数，根据训练数据集训练步骤S2所述目标检测网络，获得目标检测模型；

步骤4：获取测试图像，对其进行预处理，之后输入步骤3获得的目标检测模型，得到对测试图像的目标分类和定位结果。

2.如权利要求1所述的一种基于特征增强和IoU感知的目标检测方法，其特征在于，步骤1中，图像预处理操作包括以下步骤：

步骤1.1：将输入图像的短边缩放到600像素；

步骤1.2：使用图像随机水平翻转，进行数据增广。

3.如权利要求1所述的一种基于特征增强和IoU感知的目标检测方法，其特征在于，步骤2.2中，RoI池化算法使用RoIAlign。

4.如权利要求1所述的一种基于特征增强和IoU感知的目标检测方法，其特征在于，对于步骤2.3所述RoI分类回归分支网络，RoI Align输出的特征图尺寸为7×7。