[发明专利]基于Resnet与LSTM的胶囊机器人排水管网缺陷识别方法

权利要求书

1.一种基于Resnet与LSTM的胶囊机器人排水管网缺陷识别方法，其特征在于，该方法包括以下的步骤：

S1、图像序列的输入与矩阵转化，将标记好的由胶囊机器人采集的排水管道缺陷图像序列输入到长期卷积网络LRCN中，这些图像会在输入至长期卷积网络LRCN之前进行矩阵转化，由jpg格式转化为224*224*3的三维矩阵；

S2、图像特征的提取，排水管道缺陷图像序列输入后，被分割成多个单帧图像，此后输入到残差网络Resnet50中提取图像特征，提取图像特征的过程如下：

S21、输入的图像先经过一个7*7的卷积核，步长为2，图像输出为112*112*64；

S22、再经过一个最大池化层，内核大小为3*3，步长为2，图像输出为56*56*64；

S23、再经过16个残差块，特征图的大小逐渐减小，通道数增加，图像的输出为7*7*2048；

S24、最后经过平均池化层，转化为2048维的向量；

S25、所述的平均池化层之后设置有三个包括512、256以及64个神经元的全连接层，其用于将图像特征降维为64维向量；

S3、双向长短期记忆网络Bi-LSTM的处理，具有时间关联的图像特征被输入后续的双向长短期记忆网络Bi-LSTM中，进行处理；

S4、预测结果的分类，双向长短期记忆网络BI-LSTM预测每个时间步的视频类别，并将预测结果整合为最终的分类。

2.根据权利要求1所述的基于Resnet与LSTM的胶囊机器人排水管网缺陷识别方法，其特征在于，所述的步骤S2中，残差网络Resnet50共有50层，由49个卷积层和1个全连接层组成，全连接层用于将卷积层的输出转化为多维向量。

3.根据权利要求2所述的基于Resnet与LSTM的胶囊机器人排水管网缺陷识别方法，其特征在于，所述的卷积层包括conv1、conv2_x、conv3_x、conv4_x以及conv5_x，其中:

所述的conv1由一个7*7*64的单卷积层组成，用于对尺寸为224*224的输入图像进行下采样；

所述的conv2_x、conv3_x、conv4_x和conv5_x分别由3个、4个、6个和3个残差块组成，每个残差块总体上分别由1*1、3*3和1*1三个卷积层的不同数量组成。

4.根据权利要求1所述的基于Resnet与LSTM的胶囊机器人排水管网缺陷识别方法，其特征在于，所述的步骤S1中，每个排水管道缺陷图像序列由24个连续帧组成，即转化为24个224*224*3矩阵。

5.根据权利要求1所述的基于Resnet与LSTM的胶囊机器人排水管网缺陷识别方法，其特征在于，所述的步骤S3中，双向长短期记忆网络Bi-LSTM由两层的长短期记忆网络LSTM组成，分别用于学习未来方向和过去方向的信息，更全面地捕捉序列向量的特征信息。

6.根据权利要求5所述的基于Resnet与LSTM的胶囊机器人排水管网缺陷识别方法，其特征在于，所述两层的长短期记忆网络LSTM的输出用于合并为串联，经过双向长短期记忆网络Bi-LSTM的向量串联后，输出的向量经过全连接层和SoftMax完成对缺陷序列的分类。

7.根据权利要求1所述的基于Resnet与LSTM的胶囊机器人排水管网缺陷识别方法，其特征在于，所述的步骤S4中，最终的分类包括但不限于管道破裂、支管错接、腐蚀结垢以及管道变形。