[发明专利]基于部署在后端服务器中模型的杆塔缺陷巡检的方法

权利要求书

1.一种基于部署在后端服务器中模型的杆塔缺陷巡检的方法，其特征在于，包括如下步骤：

A)采集杆塔缺陷样本图片，构成杆塔缺陷样本集，手工标注所述杆塔缺陷样本图片中杆塔缺陷所在坐标及其类型，每个所述杆塔缺陷样本图片连续采集设定帧数的图像；

B)通过数据增强算法增加所述杆塔缺陷样本集中杆塔缺陷样本图片的数量；

C)采用结合时空维度的深度卷积神经网络训练杆塔缺陷检测模型；

D)将所述杆塔缺陷检测模型部署到后端服务器；

E)采集无人机的实时视频，从所述实时视频中获取关键帧图像，并将其传输到所述后端服务器，所述后端服务器调用所述杆塔缺陷检测模型进行杆塔缺陷的检测，当检测到杆塔缺陷时，发出预警。

2.根据权利要求1所述的基于部署在后端服务器中模型的杆塔缺陷巡检的方法，其特征在于，所述步骤B)进一步包括：

B1)对所述杆塔缺陷样本图片加入随机噪声，得到有噪声干扰的样本图像；

B2)将所述有噪声干扰的样本图像分别进行顺时针方向和逆时针方向设定角度以内的角度旋转，得到不同旋转角度下的样本图像；

B3)将所述不同旋转角度下的样本图像进行光度学图像增强，改变其亮度、对比度和饱和度，增加高斯噪声，得到不同光度下的样本图像；

B4)将所述不同光度下的样本图像输入对抗生成网络，将所述对抗生成网络输出的图片作为杆塔缺陷样本图片加入到所述杆塔缺陷样本集中。

3.根据权利要求1所述的基于部署在后端服务器中模型的杆塔缺陷巡检的方法，其特征在于，所述步骤C)进一步包括：

C1)构建基础网络层，将所述杆塔缺陷样本图片中的第一帧图像送入所述基础网络层，得到第一输出图像；所述基础网络层分别由6层卷积层、池化层和ReLU激活函数构成；

C2)构建区域生成网络，用于区分前景和背景，在所述第一输出图像上应用滑动窗口，每个滑动窗口生成第一设定个数候选区域，候选区域比例按照设定的三种模式进行选择，将所有所述候选区域连接到所述区域生成网络，采用softmax回归出所有候选区域，选择前第二设定个数候选区域作为第二输出图像；

C3)将所述第二输出图像接入已训练的ResNet101网络，并去除全局池化层，提取所述第一帧图像的输出特征；

C4)针对所述杆塔缺陷样本图片中的第二帧图像和第三帧图像，分别执行所述C1)至C3)，分别对应得到所述第二帧图像的输出特征和所述第三帧图像的输出特征；

C5)将所述第一帧图像的输出特征、第二帧图像的输出特征和所述第三帧图像的输出特征的平均值作为特征层，接入全局池化层，进行迁移学习，得到杆塔缺陷检测模型。

4.根据权利要求1所述的基于部署在后端服务器中模型的杆塔缺陷巡检的方法，其特征在于，所述步骤E)进一步包括：

E1)调用无人机SDK获取实时视频流，并从中抓取关键帧图像；

E2)通过http协议将所述关键帧图像传输到所述后端服务器，调用所述杆塔缺陷检测模型，检测杆塔是否存在缺陷。

5.根据权利要求1所述的基于部署在后端服务器中模型的杆塔缺陷巡检的方法，其特征在于，所述设定帧数为3帧。

6.根据权利要求2所述的基于部署在后端服务器中模型的杆塔缺陷巡检的方法，其特征在于，所述设定角度为30°。

7.根据权利要求3所述的基于部署在后端服务器中模型的杆塔缺陷巡检的方法，其特征在于，所述第一设定个数为9个。

8.根据权利要求3所述的基于部署在后端服务器中模型的杆塔缺陷巡检的方法，其特征在于，所述设定的三种模式为[1:2,1:1,2:1]。

9.根据权利要求3所述的基于部署在后端服务器中模型的杆塔缺陷巡检的方法，其特征在于，所述第二设定个数为200个。