[发明专利]基于Resnet与LSTM的胶囊机器人排水管网缺陷识别方法

说明书

本发明公开了一种基于Resnet与LSTM的胶囊机器人排水管网缺陷识别方法，涉及排水管道检测技术领域；该方法包括以下的步骤：S1、图像序列的输入与矩阵转化，将标记好的由胶囊机器人采集的排水管道缺陷图像序列输入到长期卷积网络LRCN中，这些图像会在输入至长期卷积网络LRCN之前进行矩阵转化；S2、图像特征的提取，排水管道缺陷图像序列输入后，被分割成多个单帧图像，此后输入到残差网络Resnet50中提取图像特征；S3、双向长短期记忆网络Bi‑LSTM的处理；S4、预测结果的分类，双向长短期记忆网络BI‑LSTM预测每个时间步的视频类别，并将预测结果整合为最终的分类；本发明的有益效果是：可以显著降低人工检测的时间，提高胶囊机器人的作业效率。

技术领域

本发明涉及排水管道检测技术领域，更具体的说，本发明涉及一种Resnet与LSTM的胶囊机器人排水管网缺陷识别方法。

背景技术

排水系统是城市雨、污水排放的重要通道，也是维护城市安全运行的生命线。然而，在排水管道运行维护管理过程中，由于负荷流量远超设计标准、管道设施老化、地铁等重大新建地下工程、地下检测手段不足等因素，越来越多的排水管道问题不断暴露；因此，对排水管道的检测和评估就显得尤为重要。

然而，作为排水管道检测的主要技术--CCTV也存在成本高、效率低、操作繁琐等一系列缺点。为此，研发了一种漂浮在水面上的低成本排水管道检测设备--胶囊机器人。胶囊机器人成本更低、操作更简单、效率更高、测量范围更广，满足了城市排水系统大范围、高频率缺陷检测的需求。

但人工解读大量胶囊机器人检测视频费时费力，不仅需要相当的专业知识，而且缺陷识别的客观性和准确性也无法保证。以往的排水管道缺陷自动识别大多采用传统的基于特征提取器的机器学习方法，如HOG、SIFT等，这些方法通常只针对特定的任务而设计，导致实际应用中的泛化能力较差。再加上鱼眼畸变、抖动模糊等检测模式导致的图像质量问题较差，胶囊机器人使用传统方法的可行性远不如CCTV。

发明内容

为了克服现有技术的不足，本发明提供一种基于Resnet与LSTM的胶囊机器人排水管网缺陷识别方法，可以显著降低人工检测的时间、人力和物力成本，提高胶囊机器人的作业效率。

本发明解决其技术问题所采用的技术方案是：一种基于Resnet与LSTM的胶囊机器人排水管网缺陷识别方法，其改进之处在于，该方法包括以下的步骤：

S1、图像序列的输入与矩阵转化，将标记好的由胶囊机器人采集的排水管道缺陷图像序列输入到长期卷积网络LRCN中，这些图像会在输入至长期卷积网络LRCN之前进行矩阵转化，由jpg格式转化为224*224*3的三维矩阵；

S2、图像特征的提取，排水管道缺陷图像序列输入后，被分割成多个单帧图像，此后输入到残差网络Resnet50中提取图像特征，提取图像特征的过程如下：

S21、输入的图像先经过一个7*7的卷积核，步长为2，图像输出为112*112*64；

S22、再经过一个最大池化层，内核大小为3*3，步长为2，图像输出为56*56*64；

S23、再经过16个残差块，特征图的大小逐渐减小，通道数增加，图像的输出为7*7*2048；

S24、最后经过平均池化层，转化为2048维的向量；

S25、所述的平均池化层之后设置有三个包括512、256以及64个神经元的全连接层，其用于将图像特征降维为64维向量；

S3、双向长短期记忆网络Bi-LSTM的处理，具有时间关联的图像特征被输入后续的双向长短期记忆网络Bi-LSTM中，进行处理；

S4、预测结果的分类，双向长短期记忆网络BI-LSTM预测每个时间步的视频类别，并将预测结果整合为最终的分类。