[发明专利]一种在线CAD模型驱动的级联式机械臂视觉引导逼近方法

说明书

本发明公开了一种在线CAD模型驱动的级联式机械臂视觉引导逼近方法。本发明在预估位姿阶段通过匹配预先计算完毕的位姿层次树获得预估位姿，之后根据预估位姿和目标位姿自动规划出轨迹，在程序中在线生成若干张路径模板图像，引导机械臂按预设路径接近零件，最后在精确引导阶段利用基于图像的视觉伺服方法完成精确对准。本发明引导精度高，轨迹可控，避免了使用单一方法的不足，可满足实际工业应用的需求。

技术领域

本发明涉及计算机视觉及工业自动化技术领域，具体涉及一种在线CAD模型驱动的级联式机械臂视觉引导逼近方法。

背景技术

机械臂的精确引导一直以来都是工业自动化的一个重要组成部分，但目前很多工业流水线上的机器人只能完成重复单调的动作，在使用机械臂对随机摆放的零件进行接近并执行动作这一方面做得还不够充分，当零件相对于机械臂末端执行器的位姿不确定时，机械臂就无法完成一些精确的工作，因此研究一种可靠的机械臂精确引导逼近方法就显得尤为重要。

目前对于零件进行位姿识别并引导机械臂接近的方法主要分两大类：其一是通过视觉伺服的方法，计算当前图像(或位置)与目标图像(或位置)之间的误差，利用该误差信号作为反馈控制机械臂的运动，这种方法的优点在于控制的精度高，缺点在于运动过程中可能使零件脱离摄像机的视域范围丢失图像特征，致使机械臂无法收敛到期望目标状态；其二是直接通过当前图像与目标图像计算相对位姿，之后控制机械臂完成接近，这种方法的优点在于能够仅依靠起始位置的图像计算得到零件的位姿，将路径规划的部分交由机械臂控制器完成，缺点在于两张图像之间的差别不能太大、不能对路径进行规划，并且其控制方式为开环控制，无法对最后的精度做出保证。

针对目前方法的不足，本发明考虑结合使用这两种方法以避免各自的缺点，并利用双视图三维重建方法引导机械臂按设定路径运动。通过基于模板的位姿匹配定位大致位姿，之后在线生成路径上的零件虚拟图像引导机械臂按指定轨迹接近零件，最后利用视觉伺服方法完成精确引导。如此，既避免了单一使用视觉伺服方法可能使零件脱离摄像机的视域范围丢失图像特征，又避免了单一使用位姿估计方法精度不高的问题，同时使得轨迹可控，满足实际工业应用的需求。

发明内容

本发明为解决上述机械臂引导方法的不足，提出一种在线CAD模型驱动的级联式机械臂视觉引导逼近方法，

如图2所示，本发明的技术方案包括以下步骤：

方法实施前，机械臂末端安装摄像机，并进行手眼标定。

步骤1，离线准备阶段：建立被抓取零件的CAD模型，使用OpenGL图形程序接口读取该模型，使用虚拟摄像机对零件的CAD模型在不同位姿下拍摄生成一系列模板图像，对模板图像进行边缘检测提取获得模板边缘图像，然后对模板边缘图像进行聚类，构造位姿层次树；

步骤2，位姿预估阶段：将实际拍摄的实际边缘图像和位姿层次树中的模板边缘图像进行相似度计算，以相似度最高的模板边缘图像拍摄时对应的位姿作为预估位姿；

步骤3，接近阶段：以预估位姿设定机械臂的运动轨迹，在运动轨迹上生成多张路径模板图像，通过路径模板图像引导机械臂按运动轨迹接近被抓取零件；

步骤4，精确引导阶段：接近被抓取零件后，用机械臂末端的摄像机实时采集获得实际图像，根据被抓取零件的目标位姿实际图像和实际图像利用基于图像的视觉伺服方法进行最后精确引导，进行抓取或装配操作。

本发明融合了模板位姿估计方法(步骤1+2)、双视图三维重建方法(步骤3)和基于图像的视觉伺服方法(步骤4)进行机械臂视觉引导逼近。

所述步骤1中，OpenGL图形程序接口中的光源设置应与实际情况相同，使模板图像中的零件不同表面之间的灰度变化与机械臂摄像机拍摄到的实际零件不同表面之间的灰度变化相同。