[发明专利]一种基于场景先验和特征再融合的航空图像车辆检测方法

权利要求书

1.一种基于场景先验和特征再融合的航空图像车辆检测方法，其特征在于，具体步骤如下：

步骤一、对包含待测目标的原始航空图像训练集，进行训练集的图像数据增广；

步骤二、针对增广后的训练集，依次进行图像数据预处理和真值标签预处理；

步骤三、根据图像数据预处理得到的子图像和真值标签预处理后的单通道标签图训练语义分割网络模型；

步骤四、将图像数据预处理得到的子图像与单通道标签图连接成四通道图像，输入改进的进行特征二次融合的目标检测网络模型；并采用端对端方式对改进的目标检测网络模型进行训练；

首先，将四通道图像输入现有的目标检测网络模型的特征提取网络中，得到各层级的特征图，然后，应用基于特征金字塔的多层级特征融合结构，对首次融合后的相邻层级的各层特征图，利用分支网络进行二次融合，对目标检测网络模型进行改进，得到各个层级二次融合后的特征图；

融合具体过程为：特征提取网络采用ResNet-101结构，使用conv_2x，conv_3x，conv_4x，conv_5x层的输出作为预融合特征图，首先按照自上而下的顺序，将当前层的特征经过一个1×1的过渡卷积层与上一层级的特征图融合，后者需要先经过上采样恢复到与前者相同的分辨率；

融合后的特征图再以相同的方式与下一层级的特征图做融合，如此递归至分辨率最高的一级特征图为止；

然后，利用分支网络进行二次融合，将最底层的特征图直接输出；按照自下而上的顺序，从最底层开始，与相邻层之间的融合过程是：对于两层中较高分辨率的特征图，先通过池化操作使分辨率与另一分支的特征图保持一致，再将两个分支分别经过一个3×3的卷积层，通道数降为原来的一半，最后将两个分支的特征图通过连接操作拼合到一起，作为最终的特征；

由此得到每相邻两层二次融合后的特征图；

步骤五、对包含待测目标的每张原始航空图像，利用训练好的改进后的目标检测网络模型进行车辆预测。

2.如权利要求1所述的一种基于场景先验和特征再融合的航空图像车辆检测方法，其特征在于，步骤一中所述的待测目标是指每张航空图像中出现的所有车辆；

图像数据增广包括尺寸空间增广和色彩空间增广；

尺寸空间增广是指：针对训练集中所有原始航空图像，根据金字塔缩放的方式，按照不同比例因子的个数进行分组，对每组中的各图像通过双线性插值进行缩放，得到增广数据集，进而学习到目标的多尺度特征；

色彩空间增广是指：针对训练集中所有原始航空图像，随机分成若干组，分别对每组图像进行饱和度、亮度、对比度或锐度随机的改变。

3.如权利要求1所述的一种基于场景先验和特征再融合的航空图像车辆检测方法，其特征在于，步骤二中所述的图像数据预处理是对增广后的训练集采用重叠裁剪分片进行区块化的分割，得到子图像；

区块化分割具体为：针对某一方向上分块的窗口长度w，使用步长Δs＝(1-α)w来更新下一次的分块起点，0α1表示重叠率；

真值标签预处理是对原始训练集图像标签进行处理，得到子图像的单通道标签图，以及真实边界框坐标值和类别值；

单通道标签图的像素值为0到n之间的整数，其中n为像素的类别数，0为背景类别；

真实边界框坐标值的形式为(x,y,w,h)，其中x,y为边界框的左上角坐标，w,h为边界框的宽和高；

真实边界类别值定义为车辆。

4.如权利要求1所述的一种基于场景先验和特征再融合的航空图像车辆检测方法，其特征在于，步骤四中所述的对改进的目标检测网络模型进行训练；训练方法有交替训练、近似联合训练或者非近似联合训练。

5.如权利要求1所述的一种基于场景先验和特征再融合的航空图像车辆检测方法，其特征在于，步骤五中所述的具体预测过程为：

步骤501、将每张原始航空图像进行重叠裁剪分片为子图像；

步骤502、利用训练好的语义分割网络模型，对裁剪分片的子图像分别进行道路区域分割；

步骤503、根据区域分割结果，依次选取符合预设道路场景要求的每张裁剪分片子图像，连接为四通道图像输入训练好的改进的目标检测网络模型；

子图像的选择过程如下：

设定阈值θ，统计区域分割结果中属于道路的像素相对于相应子图像全部像素的占比α，选取α＞θ的子图像作为待测子图像；

步骤504、目标检测网络模型输出当前子图像中车辆的相对位置信息(x′,y′,w,h)和类别信息，再根据该子图像在原图中的横纵方向序号(i,j)计算车辆的绝对位置信息(x,y,w,h)；

其中，

x＝Δs·i+x′

y＝Δs·j+y′

步骤505、选择下一张裁剪分片子图像，与区域分割结果连接为四通道图像输入训练好的改进的目标检测网络模型，返回步骤504；

步骤506、对所有子图像的车辆检测结果进行拼接，并进行非最大值抑制，得到最终的原始图像中的车辆检测结果。