[发明专利]基于道路前景图像的路面病害目标检测与实例分割方法

权利要求书

1.一种基于道路前景图像的路面病害目标检测与实例分割方法，其特征在于，包括如下步骤：

步骤S1、利用双目相机采集道路前景图像，并生成道路前景景深图像；

步骤S2、筛选出海量数据中路面存在病害的图像，并使用多边形标注工具构建测试数据集；

步骤S3、使用K-means聚类算法获取最佳的锚框尺寸，调整Mask-RCNN模型包括学习率、迭代次数的参数，并开始对Mask-RCNN模型进行训练；

步骤S4、将步骤S3中训练得到的Mask-RCNN模型的权重作为路面病害特征检测器，对测试数据集进行识别，同时，结合深度图像将图像坐标转换为相机坐标，并计算路面病害在路面中的真实面积；

步骤S5、制定目标重叠过滤策略，剔除重复检测的目标信息；

步骤S6、以表格的形式自动将模型识别生成的路面病害明细信息保存至本地磁盘；

所述步骤S4具体实现如下：

步骤S41、病害识别：调用Mask-RCNN模型的权重进行路面病害自动识别，以预测框和真实标签区域之间的交集大小，即联合交叉域为置信度，将联合交叉域IoU大于0.7的判定为识别正确，反之为识别错误，并计算每一类别的平均精度AP值，AP值大小为P-R曲线与坐标轴所围成的面积，最终，求所有路面病害类别AP值的平均数；准确率P、召回率R的计算公式如(4)、(5)所示：

式(4)、(5)中，N_TP表示被正确识别的样本数；N_FP表示被错识别为目标的样本数；N_FN代表属于目标范畴，但未被识别出来的样本数；

步骤S42、图像坐标与相机坐标转换：根据三角形相似原理，将检测得到的目标区域坐标转换为相机坐标系中的坐标，数学表达式如式(6)和(7)所示：

式(6)、(7)中，x、y表示图像坐标系中的横、纵坐标；X_c、Y_c则表示相机坐标系中的横、纵坐标；Z_c为图像景深值；f表示相机焦距；

步骤S43、计算病害在路面上的真实面积：根据步骤S42中转化得到的相机坐标，结合相机焦距和景深值大小计算实际面积，长度、宽度和面积的计算公式如(8)、(9)、(10)所示：

S＝width×length (10)

其中，width、length分别表示宽度、长度；x_max、x_min分别代表预测框的最大、最小横坐标；y_max、y_min分别代表最大、最小纵坐标；S表示真实面积；

所述步骤S5具体实现方式为：当一张图像中出现两个同一类型的病害时，根据预测得到的矩形区域中心点位置和病害类别名称判断目标是否出现重叠，具体计算公式如(11)、(12)所示，当判别式(13)成立时，即两个目标的重合度大于50％，过滤掉面积较小的目标，并将这些图像另存为到本地文件夹，以便进行回溯检查；

其中，W表示宽度；H表示高度；X表示横坐标；Y表示纵坐标；C表示中心点(x,y)位置坐标，式(11)、(12)求解结果分别代表矩形a、矩形b的各个参数信息，当式(13)成立时，即目标出现了重叠。

2.根据权利要求1所述的基于道路前景图像的路面病害目标检测与实例分割方法，其特征在于，所述步骤S2具体实现如下：

步骤S21、图像筛选：筛选出存在路面病害的路面前景图像，所述路面病害，包括：纵缝、横缝、龟裂、坑槽、修补条及修补块；

步骤S22、数据标定：根据路面病害的形态特征，选择labelme多边形标注工具进行标定，分别给不同类型的路面病害对应的标签，若一张图像中存在两个及以上的同一种类型病害时需要在标签后面加上序号。

3.根据权利要求2所述的基于道路前景图像的路面病害目标检测与实例分割方法，其特征在于，所述步骤S3具体实现如下：

步骤S31、获取最佳的锚框尺寸：从步骤S22数据标定所生成的json文件中提取出四个顶点坐标，采用K-means聚类算法获取最佳的锚框尺寸，以欧式距离衡量距离大小，使用误差的平方和作为聚类的目标函数，计算公式如式(1)、(2)所示：

式(1)中，D₁₂表示欧式距离，x_i表示横坐标，y_i表示纵坐标；式(2)中SSE表示误差平方和，c_i表示第i个簇的质心，u_j表示当前预测得到簇的质心；

步骤S32、模型参数调整：在Mask-RCNN模型训练初期根据验证数据集的损失值下降速度和变化趋势，调整学习率和迭代次数，具体调整方式为：若模型收敛速度较慢则终止训练，调高学习率后重新训练；反之，若模型损失值下降速度很快并且起伏变化大，调低学习率以避免模型出现无法收敛状况；当模型在验证数据集上的损失值趋于稳定时，停止训练模型，若已达到迭代轮数模型还未收敛，则设置在上一次训练结束保存的权重基础上增加迭代轮数继续训练；

步骤S33、训练Mask-RCNN模型：Mask-RCNN模型在训练过程中先通过前向传播得到预测值，然后与真实标签对比计算损失值，Mask-RCNN模型引入了maskbranch网络，因此整体的损失函数需要将其作为一个损失项纳入其中，损失函数的计算表达式如(3)所示：

L＝L_cls+L_box+L_mask (3)

式(3)中，L_cls表示模型目标分类损失值；L_box表示预测框回归损失；L_mask表示预测的目标掩膜损失。