[发明专利]一种基于多任务学习的排水管道异常类型自动检测方法

权利要求书

1.一种基于多任务学习的排水管道异常类型自动检测方法，其特征在于，包括如下步骤：

步骤S1、建立训练数据集：从历史检测报告及排水管道机器人拍摄的视频中随机抽取视频帧形成管道图像集，对于管道图像集里的每个图像，按照城镇排水管道检测与评估技术规程中给出的管道评估方式对图像进行标注，形成管道图像集S和图像标签集γ，对于管道图像集S里的每个图像集X(n)，有与之对应的图像标签集γ，γ＝(γ(1),γ(2),…γ(n))，γ(n)表示第ω(n)张图像所属管道异常类型；按照70％，10％，20％的比例将所述管道图像集划分成训练集、验证集和测试集；在深度学习中，为避免出现过拟合，对训练集中的图像数据进行数据增强和标准化处理；

步骤S2、使用步骤S1得到的训练集图像通过梯度下降算法训练深度残差神经网络；

步骤S3、使用步骤S2中训练好的神经网络对步骤S1中的训练集图像进行识别，图像依次经过卷积层、池化层获取神经网络倒数第二层特征向量，通过特征向量构建缺陷的深度特征空间，基于深度特征空间构建深度特征直方图；

步骤S4、使用步骤S3中得到的各类别深度特征直方图进行相似性度量，一一对比不同类别深度特征直方图的相似性，根据相似性对缺陷进行分组；

步骤S5、使用步骤S4中分组结果构建多任务深度残差神经网络，使用步骤S1得到的训练集图像通过梯度下降算法训练神经网络；

步骤S6、使用步骤S4中训练好的神经网络对待识别的图像进行识别，图像依次经过卷积层、池化层和激活层后得到图像中包含缺陷的类型；

所述步骤S5中，使用步骤S4中分组结果构建多任务深度残差神经网络的方式如下：

以残差网络为主干网，不同任务之间共享前4个残差卷积块，在第4块残差卷积块后形成多任务分支；每个分支由一个残差卷积块，平均池化层，全连接层和一个softmax激活层组成；分支从根据分组结果从功能上划分为两大任务模块：高级任务模块和低级任务模块，高级任务模块的分类目标为对不同分组的缺陷图像进行分类，最终输出图像归属分组的概率；低级任务模块拥有多个子任务，每个子任务对组内不同缺陷进行分类，最终输出图像归属组内具体类别的概率；缺陷分类结果来自条件概率：

式中，P(A)表示高级任务模块输出概率，P(B|A)表示低级任务模块输出概率，分好组后的缺陷一定会被划分至对应的组中，则条件概率P(A|B)恒等于1，由此得到最终的分类结果；训练选用联合优化训练方法进行训练，联合优化的损失函数表示为如下形式：

式中，为高级任务的交叉熵损失函数，为低级任务各子任务损失函数的和。

2.根据权利要求1所述的一种基于多任务学习的排水管道异常类型自动检测方法，其特征在于，所述步骤S1中，管道异常类型划分为变形、沉积、错口、腐蚀、破裂、起伏、渗漏、树根，依次对应的γ值为0，1，2...6，7。

3.根据权利要求1所述的一种基于多任务学习的排水管道异常类型自动检测方法，其特征在于，所述步骤S1中，对训练集中的图像数据进行数据增强和标准化处理的过程具体包括以下步骤：

步骤S11、对训练集中的图像数据进行数据增强；所述进行数据增强的方法包括水平翻转、旋转、改变图像色彩、加入噪声；

步骤S12、将步骤S11中的进行数据增强后的图像集按短边等比例缩放至固定大小，范围为256～512之间；

步骤S13、对步骤S12缩小后的图片随机裁剪出224×224的子图；

步骤S14、对步骤S13中产生的子图进行标准化处理，具体采用以下公式：

式中，x_i表示一张图中的其中一个像素点；x_min表示图中所有像素的最小值点，x_max表示图中所有像素的最大值点。

4.根据权利要求1所述的一种基于多任务学习的排水管道异常类型自动检测方法，其特征在于，所述步骤S2中，深度残差网络结构由5个残差卷积块组成，残差卷积块之间通过Shortcut的结构连接，每个残差卷积块由3个卷积层组成，使用1×1、3×3、1×1的3个卷积层串接在一起作为一个残差卷积块。

5.根据权利要求1所述的一种基于多任务学习的排水管道异常类型自动检测方法，其特征在于，所述步骤S3中，构建深度特征直方图的方式如下：

步骤S31、使用步骤S1中划分好类别的训练集并采用步骤S2中训练好的神经网络提取深度特征，取步骤S2中网络倒数第二层2048维向量作为训练集中每张图像的深度特征向量；

步骤S32、将步骤S31中获取的深度特征向量按照类别组合在一起构成深度特征矩阵；

步骤S33、对步骤S32中每个类别的深度特征矩阵绘制深度特征直方图。