[发明专利]一种基于多层特征融合神经网络模型的桥梁车辆车轮检测方法

权利要求书

1.一种基于多层特征融合神经网络模型的桥梁车辆车轮检测方法，其特征在于，包括以下步骤：

1)构建基于多层特征融合的深度学习神经网络模型；

2)利用训练样本数据集对模型进行训练；

3)对桥梁上拍摄的待检测图像进行图像增强的预处理操作；

4)将预处理后的图像输入模型中，得到具有车轮车辆类别坐标标定的输出图像；

5)利用重叠率度量方法，将图像中检测到的车轮与对应车辆进行匹配；

所述的步骤1)中，构建基于多层特征融合的深度学习神经网络模型，具体包含以下四个步骤：

步骤1.1，构建特征提取模块；

步骤1.2，构建多层特征融合模块；

步骤1.3，设置默认框；

步骤1.4，构建多任务训练损失函数；

所述的步骤1.2中，多层特征融合模块的构建，具体包括：

第一层为特征融合层P1：

输入：卷积层conv8_2的输出特征图Out8_2大小为3*3*256、卷积层conv7_2的输出特征图Out7_2大小为5*5*256；

操作：对特征图Out8_2进行卷积操作，设定256个特征平面，卷积核大小为1*1，再进行反卷积操作，设定256个特征平面，卷积核大小为3*3，最后输出大小为5*5*256；对特征图Out7_2进行卷积操作，设定256个特征平面，卷积核大小为1*1，输出大小为5*5*256；将上述两个输出的特征图融合，对应的像素点进行点乘操作；对融合后的特征图，通过3*3的卷积操作；

输出：特征图大小为5*5*256；

第二层为特征融合层P2：

输入：特征融合层P1的输出，卷积层conv6_2的输出特征图Out6_2大小为10*10*512；

操作：对特征融合层P1的输出进行卷积操作，设定256个特征平面，卷积核大小为1*1，再进行反卷积操作，设定256个特征平面，卷积核大小为2*2，最后输出大小为10*10*256；对特征图Out6_2进行卷积操作，设定256个特征平面，卷积核大小为1*1，输出大小为10*10*256；将上述两个输出的特征图融合，对应的像素点进行点乘操作；对融合后的特征图，通过3*3的卷积操作；

输出：特征图大小为10*10*256；

第三层为特征融合层P3：

输入：特征融合层P2的输出，卷积层fc7的输出特征图OutFc7大小为19*19*1024；

操作：对特征融合层P2的输出进行卷积操作，设定256个特征平面，卷积核大小为1*1，再进行反卷积操作，设定256个特征平面，卷积核大小为3*3，最后输出大小为19*19*256；对特征图OutFc7进行卷积操作，设定256个特征平面，卷积核大小为1*1，输出大小为19*19*256；将上述两个输出的特征图融合，对应的像素点进行点乘操作；对融合后的特征图，通过3*3的卷积操作；

输出：特征图大小为19*19*256；

第四层为特征融合层P4：

输入：特征融合层P3的输出，VGG-16网络中卷积层conv4_3的输出特征图Out4_3大小为38*38*512；

操作：对特征融合层P3的输出进行卷积操作，设定256个特征平面，卷积核大小为1*1，再进行反卷积操作，设定256个特征平面，卷积核大小为2*2，最后输出大小为38*38*256；对特征图Out4_3进行卷积操作，设定256个特征平面，卷积核大小为1*1，输出大小为38*38*256；将上述两个输出的特征图融合，对应的像素点进行点乘操作；对融合后的特征图，通过3*3的卷积操作；

输出：特征图大小为38*38*256；

所述的步骤1.3中，设置默认框，具体方式如下：

其中，k表示第k个特征图，m表示特征图数目；选择用于检测的特征图分别为步骤2.2中特征融合层P4的输出、P3的输出、P2的输出、P1的输出、步骤2.1中卷积层conv8_2的输出、conv9_2的输出；s_min取值0.2，s_max取值0.9，表示最低层的尺度为0.2，最高层的尺度为0.9；不同纵横比a_r,和分别表示默认框的宽、高；

所述的步骤1.4中，采用多任务训练损失函数中损失函数的计算公式具体如下：

其中，L_conf(x,c)表示置信度损失，L_loc(x,l,g)表示定位损失；N是与真实框匹配的预测框数目，参数α设置为1；x表示输入图片，是匹配第i个预测框到类别为p的第j个真值框的一个指示符；c表示置信度，l表示预测框，g表示真实框；Pos表示与真实框匹配的预测框集合；表示第i个预测框的参数值，其中m的取值(cx,cy),w,h分别表示预测框的中心坐标，以及预测框的宽度和高度；表示第j个真实框的参数值，其中m的取值(cx,cy),w,h分别表示真实框的中心坐标，以及真实框的宽度和高度；表示第i个默认框的参数值；表示第i个预测框属于类别p的置信值；

所述的步骤5)中，重叠率度量方法中重叠率计算公式具体如下：

其中，x_p,x_q表示同一张图像中检测到的两个目标，分别是目标x_p在图像中的左上角坐标和右下角坐标，分别是目标x_q在图像中的左上角坐标和右下角坐标，表示取与中较小的数，表示取与中较大的数。