[发明专利]一种基于单目视觉的焊接安全距离测量方法

权利要求书

1.一种基于单目视觉的焊接安全距离测量方法，其特征在于，具体包括如下步骤：

（1）根据焊接场景，在地面放置标志物，所述标志物构成正方形网格，同时，在地面标志物1m的标定杆顶部竖直放置标志物，利用单目摄像头收集放置有标志物的焊接场景图像；

（2）标定步骤（1）收集的焊接场景图像上标志物坐标及对应的世界坐标，求解地面单应矩阵和映射平面高度的单应矩阵，所述映射平面高度取值0或1，0表示地平面，1表示离地高度为1米的平面；

（3）利用单目摄像头收集未放置标志物的焊接场景图像，构成图像集，将所述图像集输入Faster RCNN+ FPN目标检测模型进行训练；

（4）利用单目摄像头实时收集焊接场景图像，并将实时收集的焊接图像输入训练好的Faster RCNN+ FPN目标检测模型中，输出目标检测结果，所述目标检测结果包括目标检测物的类别、置信度及目标框图像坐标；

（5）通过步骤（2）求解的地面单应矩阵、映射平面高度单应矩阵和步骤（4）获得的目标检测结果进行目标物距离测量，判断是否发出预警；具体包括如下子步骤：

（5.1）首先判断目标物的类别是否为氧气气瓶或乙炔气瓶，若是，则利用目标框图像的框长宽比判断所述氧气气瓶或乙炔气瓶是否倾倒，若倾倒则发出预警，同时利用地面单应矩阵计算目标物检测物之间目标框中心点间的物理距离，若距离小于阈值，则发出预警；

（5.2）若目标检测物为明火，则根据明火边上的人头估算明火高度：若当前帧未检测到人头目标，则利用上帧人头位置信息计算明火离地高度，若上帧仍未检测到明火，则采用焊接场景设定明火高度经验阈值；若当前帧检测到人头，则以明火目标框中心点为中心，设定横向、纵向坐标搜索范围，判断人头目标框是否落入该搜索范围内，若是，则利用该人头目标物测量明火高度，利用明火高度和映射平面高度单应矩阵计算明火与氧气或乙炔气瓶检测框底部中心点间的物理距离，若距离小于阈值，若是则发出预警。

2.根据权利要求1所述基于单目视觉的焊接安全距离测量方法，其特征在于，步骤（2）具体包括如下子步骤：

（2.1）对于焊接场景图像上地面的标志物，测量地面标志物的二维齐次世界坐标和二维齐次图像坐标为，且所述焊接场景图像上地面的标志物二维齐次图像坐标与二维齐次世界坐标间通过图像平面与地面间的映射单应矩阵建立映射关系；

（2.2）对于焊接场景图像上地面的标志物，获得其三维齐次世界坐标和对应的三维齐次图像坐标；并获得映射平面高度的标志物的三维齐次世界坐标及对应的三维齐次图像坐标，将标志物三维齐次图像坐标通过映射平面高度的单应矩阵与标志物三维齐次世界坐标建立映射关系；

（2.3）利用Levenberg-Marquardt非线性最小二乘法最小化步骤（2.1）及步骤（2.2）所述标志物图像坐标及世界坐标间的重投影误差，求解地面单应矩阵和映射平面高度的单应矩阵。

3.根据权利要求1所述基于单目视觉的焊接安全距离测量方法，其特征在于，步骤（3）包括如下子步骤：

（3.1）在未放置标志物的焊接场景图像组成的图像集中标注目标检测物，并通过裁剪、镜像、缩放的方式对所述图像集进行预处理；所述目标检测物的类别包括：氧气气瓶、乙炔气瓶、明火及人头；

（3.2）将Faster RCNN+ FPN目标检测模型中的第一级RPN网络的损失函数改为focalloss函数，去除FPN结构中下采样到1/4的特征图；将所述图像集输入Faster RCNN+ FPN目标检测模型中，进行训练，直至所述目标检测模型的训练周期达到299，完成对Faster RCNN+ FPN目标检测模型的训练。

4. 根据权利要求1或3所述基于单目视觉的焊接安全距离测量方法，其特征在于，所述Faster RCNN+ FPN目标检测模型的参数设置为：采用随机梯度下降算法优化Faster RCNN+FPN目标检测模型的损失函数，momentum设置为0.9，训练周期为299，warm up周期为34，初始学习率设置为0.01，权重衰减参数设置为0.0005。