[发明专利]一种基于深度学习增强实例分割的道路积水区域检测方法

权利要求书

1.一种基于深度学习增强实例分割的道路积水区域检测方法，其特征在于：

1）数据收集和标注：

大量收集城市监控场景下的道路积水样本并标注；

2）构建Mask R-CNN，划分数据集，以易检测积水样本训练Mask R-CNN：

A）Mask R-CNN的结构中包含分类分支、位置回归分支和分割分支，将提取的样本特征送入上述三个分支，进行目标的检测和分割，其损失函数可表示为：

其中，L_cls表示分类分支损失，L_box表示位置回归分支损失，L_mask表示分割分支损失；

构建Mask R-CNN网络，以标注好的数据初步训练Mask R-CNN，并将数据送入Mask R-CNN进行道路积水区域初步检测；

B）以A）中道路积水区域初步检测结果为基准，将原有样本数据中未检测出道路积水区域的样本划分为难检测样本D_h，检测出道路积水区域的样本划分为易检测样本D_e；

C）以易检测样本D_e重新训练Mask R-CNN至模型收敛，据此可以得到易检测样本的特征；

3）构建并训练含有条件生成对抗网络分支的Mask R-CNN：

为Mask R-CNN添加条件生成对抗网络分支，条件生成对抗网络由生成器和判别器组成，生成器用于将输入样本的特征映射到与易检测样本特征相似的特征，判别器用于输出和之间的相似程度，条件生成对抗网络优化过程可以表示为：

其中，是来自Resnet-FPN主干网络第一个卷积层输出的低层特征，先后经过3*3和1*1的卷积的输出和Resnet-FPN主干网络输出的特征具有相同的通道数；

当判别器损失函数L_dis值最小时，判别器能够很好地区分和，L_dis可表示为：

生成器能使生成的难检测样本特征与易检测样本特征更相似，从而使判别器无法判别输入数据的真假，其损失函数L_gen可表示为：

利用道路积水数据，交替进行生成器和判别器的训练，直到最终达到平衡，此时进行Mask R-CNN的目标检测和分割分支的训练，Mask R-CNN的目标检测和分割分支的损失函数为L_mrcnn，利用反向传播使L_mrcnn最小，可以使得训练过程持续收敛；

此模型完整的损失函数可表示为：

其中，w₁和w₂分别是L_dis和L_mrcnn的权重系数，其中；在损失函数L的作用下，训练过程中含有条件生成对抗网络分支的Mask R-CNN会持续收敛直至平衡，最终完成整个模型的训练；

4）利用含有生成器分支的Mask R-CNN进行预测：

去掉判别器部分，保留生成器分支，生成器将输入样本的特征映射到与易检测样本特征相似的特征；将前面经条件生成对抗网络映射之后的特征送入Mask R-CNN的分类分支、位置回归分支和分割分支完成城市道路积水检测和分割，得到道路积水区域信息。

2.根据权利要求1所述基于深度学习增强实例分割的道路积水区域检测方法，其特征在于，所述标注是指，用标注工具以多边形方式标注视野范围内的道路积水部分，并绕过所有障碍物。

3.根据权利要求1或2所述基于深度学习增强实例分割的道路积水区域检测方法，其特征在于，所述生成器将输入样本的特征映射到与易检测样本特征相似的特征方法是，若输入是难检测样本特征，则将其映射到与易检测样本特征相似的特征；若输入是易检测样本特征，生成器则只需起到一个零值映射的作用。

4.根据权利要求3所述基于深度学习增强实例分割的道路积水区域检测方法，其特征在于，所述生成器由N个相同残差块ResBlock组成，每个残差块的内部结构均由卷积层、BN层、ReLU激活函数、卷积层和前向叠加构成。