[发明专利]用于爬壁机器人导航的焊缝识别与路径提取的方法

权利要求书

1.用于爬壁机器人导航的焊缝识别与路径提取的方法，所述方法通过以下装置实现，所述装置包括工业相机、识别主机、爬壁机器人，识别相机安装与爬壁机器人底盘中心位置，工业相机通过USB连接识别主机，识别主机通过串口与机器人控制端连接，该方法主要基于深度学习网络实现对焊缝的识别，并通过路径拟合算法实现焊缝的路径的偏角和偏距提取，其特征在于,该方法包括以下步骤；

步骤(1)：通过爬壁机器人采集金属壁面焊缝，并对图像中焊缝对象进行标注，建立数据集；

步骤(2)：识别主机进行网络参数初始化设定后，把焊缝缺陷数据集送入Mask-RCNN深度学习网络训练并生成权重文件，训练阶段迭代步数不小于10k，且损失函数值小于0.2；

步骤(3)：所述爬壁机器人运行在金属壁面上，启动循迹模式，工业相机获取当前位置的焊缝图像并发送给识别主机；步骤(4)：所述识别主机接受图像进行识别测试，设置深度学习网络参数，载入步骤(2)训练获得的权重，送入Mask-RCNN网络进行焊缝分类、回归和像素掩码生成；

步骤(5)：对Mask-RCNN识别结果进行图像处理，去除背景，二值化处理，得到焊缝路径图像，并进行焊缝路径提取；

步骤(6)：识别主机发送焊缝路径信息(偏角和偏距)给爬壁机器人控制端，控制端调整机器人位置和速度，实现焊缝的跟踪运行， 返回步骤(3)进行焊缝的连续循迹跟踪。

2.根据权利要求 1所述的用于爬壁机器人导航的焊缝识别与路径提取的方法，其特征在于，所述步骤(1)的数据集中的图片包含水平焊缝、垂直焊缝、倾斜焊缝、十字交叉焊缝、丁字形焊缝类型；焊缝数据集包括不少于2000张焊缝图像，并按5:1分为训练集和测试集；数据集格式为COCO格式或VOC格式，标注分类数为2(包括焊缝对象和背景)。

3.根据权利要求 1所述的用于爬壁机器人导航的焊缝识别与路径提取的方法，其特征在于，所述步骤(1)的数据集中的焊缝图片标注，交叉焊缝或丁字形焊缝标注为多条焊缝而不是单一焊缝，具体为：交叉焊缝标注为3条焊缝、丁字形焊缝标注为2条焊缝。

4.根据权利要求 1所述的用于爬壁机器人导航的焊缝识别与路径提取的方法，其特征在于，所述步骤(2)中的预训练网络模型及权重采用mask_rcnn_R_50_FPN_3x，分类类别为2，进行二分类；训练阶段底层卷积神经采用ResNet50和FPN结合，提取不同深度的特征图；通过RPN推荐ROI(感兴趣区域)， 训练阶段的损失焊缝计算根据：

L_total＝L_{rpn_cls}+L_{rpn_loc}+L_{box_reg}+L_cls+L_mask。 _.

5.根据权利要求 1所述的用于爬壁机器人导航的焊缝识别与路径提取的方法，其特征在于，所述步骤(4)的具体过程为：

步骤(401)：初始化网络参数，分别将焊缝图像训练集、验证集注册载入，同时加载步骤(2)训练获取的权重文件；

步骤(402)：通过摄像头获取的图像，图像送入训练好的ResNet50中，通过FPN获取不同深度的特征图；

步骤(403)：使用RPN网络对ROI进行推荐，同时连接两个同级的全连接层，分别为框回归层和框分类层，用来获取ROI的区域坐标和区域得分；

步骤(404)：候选框建议RoI被送入RoIAlign层进行池化处理，采用双线性插值处理，每个RoI池化为固定尺寸特征图(例如7×7)；

步骤(405)：RoIAlign后连接两个全连接层，输出层网络深度为2，实现焊缝图像分类和边界框回归，同时连接FCN(全卷积网络)对图像焊缝进行像素分割，输出预测焊缝的mask；

步骤(406)：生成焊缝预测图像，包括预测框、概率值、焊缝的像素级别mask。

6.根据权利要求 1所述的用于爬壁机器人导航的焊缝识别与路径提取的方法，其特征在于，所述步骤(5)中图像处理主要包括去除背景干扰，二值化焊缝对象；焊缝路径提取通过最小二乘法拟合路径直线得到斜率k和截距b，路径偏角和偏距计算根据公式：

(w为图像宽度，h为图像高度,K为像素和实际大小的比例系数)。