[发明专利]一种基于双目视觉的机械臂抓取控制方法

说明书

本发明涉及kinova机械臂和ZED视觉技术领域，一种基于双目视觉的机械臂抓取控制方法，包括以下步骤：(1)实验平台搭建，(2)目标物倾斜放置时的位置和姿态的识别，(3)目标物水平放置时的位置和姿态的识别，(4)机械臂末端执行器识别并抓取目标物体，(5)机械臂抓取目标后到指定关节角状态。本发明具有以下优点：一是，估计目标物体的姿态角度，方向向量与坐标轴平面的夹角偏差在‑5～+5度之内，检测的正确率大大提高。二是，采用颜色+形状可以避免颜色相同或相近的干扰项对目标物体识别的干扰。三是，设定双机械臂抓取左右目标物体，最终获得左右机械臂抓取目标物姿态的效果。

技术领域

本发明涉及一种基于双目视觉的机械臂抓取控制方法，属于kinova机械臂和ZED视觉技术领域。

背景技术

双目视觉位姿测量作为一种重要的目标姿态方式，但是对倾斜放置的目标物姿态测量存在一定的难度，现存的一些方法有：圆提取方法和特征点提取方法。

圆形截面提取法：现有方法是使用3个工业CCD相机来对圆柱体目标物的上下截面的圆心进行提取，定义坐标系，计算两个截面圆心连线与坐标系的夹角来描述位置姿态，这种方法的准确性受目标物外形影响较大，且被遮挡的圆形截面的圆心不易提取。

特征点提取法：分为两种情况：一，人为设定特征点；二，使用激光照射获取特征点。第一种情况有人对目标物表面设置角锥棱镜作为特征点，利用一定波长的激光照射棱镜来获取目标物的位置和姿态，但是这种方法条件苛刻，只有让拍摄前景图像和背景图像时间间隔缩短才可达到一定的精度。第二种情况有人使用激光射线照射零件表面来人为创造特征点，这种方法的精度很大程度依赖于发射激光的准确性和稳定性，也增加了检测成本。

发明内容

针对现有技术中存在的不足，本发明目的是提供一种基于双目视觉的机械臂抓取控制方法。由于圆形截面的轮廓提取精度不高，造成圆心提取存在较大的偏差。在实际的情况中，有时也会存在圆形截面被遮挡等一些情况，这些都会使得圆心连线法估计圆柱体姿态变得不切实际。为解决提取截面圆困难和精度不高等问题，本发明提出了利用前景提取的方法来获取目标物截面圆弧顶点，以顶点坐标差估计目标物姿态，最终控制机械臂能够类似于人手一样灵活地抓取目标物。

为了实现上述发明目的，解决己有技术中存在的问题，本发明采取的技术方案是：一种基于双目视觉的机械臂抓取控制方法，包括以下步骤：

步骤1、实验平台搭建，将双目视觉相机安装在实验平台正上方1-1.5m处，启动双目视觉相机，启动kinova机械臂并加载左右机械臂模型urdf，该模型描述了kinova机械臂的各关节位置和姿态关系，其中左机械臂安装在水平桌面左手边，其底部坐标系定义为left，右机械臂安装在水平桌面右手边，其底部坐标系定义为right，左右机械臂距离为0.8-1.2m。根坐标系在左右机械臂中间位置，定义为root，双目视觉相机世界坐标系定义为map，以root为根坐标系，利用平移和旋转确定left、right和map坐标位置和姿态，以根坐标系原点为中心点，旋转到左机械臂底部坐标系的旋转矩阵为R1，平移矩阵为T1，旋转到右机械臂底部坐标系的旋转矩阵为R2，平移矩阵T2，旋转到双目视觉相机坐标系的旋转矩阵为R3，平移矩阵为T3，并通过式(1)至(3)进行描述，

left＝R1*root+T1 (1)

right＝R2*root+T2 (2)

map＝R3*root+T3 (3)

步骤2、目标物倾斜放置时的位置和姿态的识别，具体包括以下子步骤：

(a)订阅双目视觉相机发布的RGB图像，对图片进行二值化，由于图像外杂质物体较多，人为设置一个像素框，利用opencv中grabCut算法将框内的前景提取出来，其中设置迭代次数为7-12；