[发明专利]一种基于深度学习的路面裂缝检测与分割方法

权利要求书

1.一种基于深度学习的路面裂缝检测与分割方法，其特征在于，步骤如下：

步骤1，裂缝图像采集与预处理

使用智能检测车设备采集不同路面条件下的裂缝图像，采集的图像包含三种类别，分别为横向裂缝、纵向裂缝和网状裂缝；之后对图像进行去噪处理，采用频域滤波的方式进行去噪，去除高频分量的噪声信息；

步骤2，图像标注

对去噪处理后的图像进行裂缝类别、位置及轮廓的标注，并将标注好的裂缝图像按照9：1的比例随机划分为训练集和测试集，用于后续模型的训练；

步骤3，构建C-Mask RCNN模型

在Mask R-CNN模型基础上，对模型中区域建议网络之后的部分进行改进，通过级联多个不同的划分正负样本IoU阈值检测器来逐步提高模型生成候选框的质量，从而实现高阈值下的裂缝精准定位；改进的C-Mask RCNN模型是由特征提取网络，区域建议网络和多层检测器构成；特征提取网络用于输入裂缝图像的特征提取，区域建议网络用于生成候选框，检测器会输出两部分结果，分别是裂缝的检测结果与分割结果，每个检测器都包含有池化层、全连接层、分类部分、边界回归部分以及掩膜分割部分，且每个检测器的输入都是上一个检测器经过边界回归生成的候选框输出，即第一个检测器输出的候选框连接第二个检测器的池化层，第二个检测器输出的候选框连接第三个检测器的池化层，以此类推，越靠后的检测器其设定的划分正负样本IoU阈值越大，这就能够使每个检测器只对某一个IoU阈值下的候选框进行检测，从而提升了候选框的质量和模型的训练效果；此外，每个检测器都会输出候选框内裂缝目标的掩膜M,将这些掩膜M串联来完成裂缝像素信息的交互，采用1×1的卷积核使当前检测器的掩膜M_i会与下一层检测器的掩膜M_i+1进行卷积，使M_i+1得到M_i的特征信息，从而实现每一层检测器输出的掩膜M信息进行融合，使裂缝像素的分割更为细致，实现高精度下的裂缝检测与分割；

f(x,b)＝f_T,f_T-1,…,f₁(x,b)                    (1)

公式(1)为级联多层检测器的模型架构，其中，f(x,b)表示整个模型的级联结果，f_T(x,b)表示第T层检测器的输出，T为级联的个数，x为输入，b为输出的候选框，每个检测器对应本阶段的样本候选框b_T，下一层得到的候选框b_T会比前一层的候选框b_T-1质量高；

由公式(1)可知，模型输出的结果是综合了各个层检测器的结果，越靠后的检测器输出特征在使用较前的检测器检测时，会因特征不匹配而造成准确率的下降，即当级联检测器数目过多时反而会出现检测性能降低的情况；

步骤4，训练C-Mask RCNN模型

将步骤2中划分好的训练集和测试集输入所构建的C-Mask RCNN模型中进行训练；

训练过程如下：

1)将训练集中的裂缝图像和图像对应的真实标签作为训练集输入模型；

2)设置训练集输入模型的权重、偏置和学习率，初始学习率设为0.0001；

3)使用优化器最小化损失函数，不断更新权重和偏置，得到模型的最优权重；

4)输入测试集图像对模型进行测试，计算模型准确率；

步骤5，设置C-Mask RCNN模型参数

分别选择不同的特征提取网络、优化器、以及模型中的阈值参数进行模型训练和对比，选择最优的一组结果作为模型的最终参数；C-Mask RCNN模型中有三个需要自行设置阈值的参数，分别是非极大值抑制阈值nms_thr、IoU阈值iou_thr和分割程度阈值mask_thr_binary，非极大值抑制阈值nms_thr用来控制使用非极大值抑制算法显示的候选框数量，IoU阈值iou_thr用来控制生成候选框的质量，分割程度阈值mask_thr_binary与检测框内裂缝的分割精细程度有关，该值越大，分割结果会越细致；

步骤6，输出裂缝检测与分割结果

C-Mask RCNN模型最终会输出两部分结果，分别是裂缝的检测结果和分割结果；将生成的裂缝检测与分割结果输出到图像上；

具体输出过程如下：

检测结果部分会生成检测框四个顶点坐标，将该检测框绘制在原始图像上作为裂缝的检测结果；分割结果部分会将原始图像中识别为裂缝的像素点进行储存，将这些裂缝像素点加上颜色绘制在原始图像上作为裂缝的分割结果。