[发明专利]一种基于双目视觉的机械臂目标定位抓取方法

说明书

本发明涉及机械臂和计算机视觉技术领域，一种基于双目视觉的机械臂目标定位抓取方法，包括以下步骤：(1)安装双目视觉相机和机械臂，(2)矫正双目视觉相机内参，(3)获取目标物体的深度信息，(4)建立图像平面坐标系和双目视觉相机坐标系，(5)计算目标物体在机械臂坐标中的空间位置，(6)计算机械手的抓取姿态，(7)发送控制信息。与已有技术相比，本发明具有以下优点：一、识别物体方法简单，计算量相对较少，满足对实时抓取的时间要求；二、可避免出现像传统机械臂所采用的示教系统，当目标物体的姿态与理想姿态存在细微差别时，机械臂系统无法正常工作的问题。

技术领域

本发明涉及一种基于双目视觉的机械臂目标定位抓取方法，属于机械臂和计算机视觉技术领域。

背景技术

十九世纪五十年代末随着世界第一台工业机器人的诞生，人们采用机器人代替人类繁重劳动的梦想就没有停止过。其中自主抓取能力成为机器人智能化程度高低的标准，而机器人视觉则以低成本、高可靠性成为机器人获取外界信息主要途径。

在现代化工业生产中，机械臂的抓取多采用示教系统，但是工业环境复杂，实际抓取目标位姿与理想位姿可能存在较大误差，使得示教系统无法正常工作。针对这种问题，市面已有一种Eye-in-Hand模型，该模型将双目视觉传感器固定在机械手末端，使用基于特征的识别技术，但是当机械手与目标位置过近时，由于深度信息的丢失会导致控制系统和伺服操作无法正常工作。为了避免出现这种问题，因此，有必要对采用视觉系统下机械臂目标物体定位及抓取开展深入的研究。

发明内容

为了克服现有技术中存在的不足，本发明目的是提供一种基于双目视觉的机械臂目标定位抓取方法。该方法克服现有机械臂系统无法根据复杂的现场环境自主抓取和对于Eye-in-Hand深度信息的丢失而导致控制系统和伺服操作无法正常工作的问题。

为了实现上述发明目的，解决已有技术中所存在的问题，本发明采取的技术方案是：一种基于双目视觉的机械臂目标定位抓取方法，包括以下步骤：

步骤1、安装双目视觉相机和机械臂，其中双目视觉相机水平放置，并确保双目视觉相机与机械臂底座处在同一水平面上，水平拍摄物体，识别区域为机械臂工作半径范围，要求双目视觉相机位置与识别区域的距离为0.8-20.0米并确保识别区域不被遮挡；

步骤2、矫正双目视觉相机内参，双目视觉相机内参是与双目视觉相机自身特性有关的参数，可以此确定其焦距和像素大小，根据双目视觉相机提供的校准程序得到双目视觉相机中左、右摄像机的左、右内参，通过式(1)进行描述，

其中，表示左摄像机图像横轴方向上以像素为单位的焦距，为左摄像机图像纵轴方向上以像素为单位的焦距，为左摄像机光轴与图像中心在横轴方向上以像素为单位的差距，为左摄像机光轴与图像中心在纵轴方向上以像素为单位的差距，为右摄像机图像横轴方向上以像素为单位的焦距，为右摄像机图像纵轴方向上以像素为单位的焦距，为右摄像机光轴与图像中心在横轴方向上以像素为单位的差距，为右摄像机光轴与图像中心在纵轴方向上以像素为单位的差距；

步骤3、获取目标物体的深度信息，运行双目视觉相机，根据颜色的直观特性在由A.R.Smith在1978年创建的HSV颜色空间中对图像进行预处理，利用目标物体的颜色特征根据其在饱和度区间和色调区间的阈值来分割图像，同时将识别到的目标区域位置与深度图像进行匹配获得目标区域的深度信息，并通过公式(2)计算目标物体距离双目视觉相机的深度信息d，

其中，n表示识别区域像素点个数，d_i表示识别区域每个像素点的深度信息；

步骤4、建立图像平面坐标系和双目视觉相机坐标系，获取目标物体在双目视觉相机坐标系中的空间位置，目标物体在双目视觉相机坐标系中的三维空间坐标为(X,Y,Z)，在图像坐标系中的图像物理坐标系(x,y)和图像像素坐标系(u,v)，通过公式(3)计算得到，