[发明专利]一种基于单双目视觉协同的螺栓定位及位姿检测方法

说明书

本发明公开了一种基于单双目视觉协同的螺栓定位及位姿检测方法，首先使用固定位置下的双目视觉系统采集并处理的螺栓图像，获得螺栓图像边缘轮廓，计算几何质心获得特征点在螺栓图像中的位置坐标；在安装双目系统中两个工业摄像机时，把左摄像机安装在可控制移动轨迹的左机械臂上，把右摄像机安装在检修机器人的固定支座的合适高度上。设定初始工作状态为左右摄像机光轴平行且垂直于基线，工作结束后通过该控制系统关闭右相机接口，并且控制左机械臂末端运动到已获取的坐标点上方，此时为成单目视觉系统工作。本发明结合了双目系统利用深度信息定位的功能以及单目系统灵活的3d位姿匹配功能，实现了对障碍环境中待检测螺栓的识别与位姿检测。

技术领域

本发明涉及图像处理和计算机视觉领域，涉及HALCON软件，具体涉及一个单双目相结合的视觉系统，应用于获取螺栓的位置和位姿信息。

背景技术

高铁列车在高速运行中不可避免地会产生剧烈的震动，为了保证列车的高速运营的平稳性，需要定期对列车底板的连接螺栓进行检修。但在线检测大批螺栓时，人工视觉检测和测量难以保证精度和质量。双目视觉技术为工业机器人自动化定位提供了支持，其使用共极性约束的双目摄像机模型，基于针孔成像原理和三角测距的数学理论，通过立体匹配算法获得景深信息。双目视觉虽然可以完成从二维图像坐标系到三维世界坐标系的转换，但也只能通过给出世界坐标的形式实现对螺栓的定位。王国辉在论文《螺栓拧紧机器人视觉导引关键技术研究》中提出了一种检被动式测量螺栓三维空间信息的方法，根据螺栓的6个角点的世界坐标完成螺栓位姿及其尺寸的确定。使用的位姿确定方法是基于螺栓的特征提取，用两个角点的直线斜率表示螺栓的旋向，用三个角点所在平面的法向量表示螺栓的朝向，螺栓的位置中点表示。但是受采集照片角度的影响，螺栓六边形的投影会变形，此使的位姿分析将不可靠。

为解决以上算法的不足，本文设计的系统需要用到的相关技术有基于Zhang的平面标定法[参见学术论文“ZHANG ZH Y.“A flexible new technique for cameracalibration”IEEE Transactions on Pattern-analysisMachine-intelligence”和“岳晓峰,祁欢.“基于张正友平面模板法的双目立体视觉系统标定”机械工程师,2014,(2):1-3.”]、理想双目系统的共极性约束、基于canny边缘检测算子的特征轮廓提取[参见学术论文“侯守明,王阳,唐琪博,等.“一种基于偏微分方程和Canny算子的图像分割方法”山西大学学报(自然科学版),2017,(4):676-682.”]、基于NCC的立体匹配、单目视觉下的三维模型匹配。

发明内容

本发明的目的在于规避人工检修造成的安全风险，提出一种基于图像匹配和三维模型配准的视觉系统联合工作模式，用于为螺栓检修工业机器人提供障碍环境中紧固件的位置信息以及三维位姿信息。

本发明的技术思路是：一种基于单双目视觉协同的螺栓定位及位姿检测方法

首先使用固定位置下的双目视觉系统采集并处理的螺栓图像，获得螺栓图像边缘轮廓，计算几何质心获得特征点在螺栓图像中的位置坐标；利用图像中的螺栓的位置坐标结合视差图获取该坐标在左右两幅图中的视差值，而视差图则是基于NCC匹配算法计算得到的；基于获取的视差值，利用三角测量原理获得螺栓的深度信息，基于深度信息确定螺栓的空间坐标。

然后，通过一个控制系统，实现双目视觉系统与单目视觉系统的协同。在安装双目系统中两个工业摄像机时，把左摄像机安装在可控制移动轨迹的左机械臂上，把右摄像机安装在检修机器人的固定支座的合适高度上。设定初始工作状态为左右摄像机光轴平行且垂直于基线，所述的双目视觉系统工作获得的螺栓空间坐标存储在X[]、Y[]、Z[]数组中，工作结束后通过该控制系统关闭右相机接口，并且控制左机械臂末端运动到已获取的坐标点上方，此时为成单目视觉系统工作。

单目视觉系统中的摄像机采集螺栓图像，并且基于三维模型的形状匹配，获得目标螺栓的三维位姿信息。