[发明专利]一种基于双目视觉的管件自动抓取方法

权利要求书

1.一种基于双目视觉的管件自动抓取方法，使用的装置包括上位机、六自由度机械臂装置，以及由左相机和右相机组成的双目相机系统，其特征在于，该方法首先通过图像差分运算获取管件伸出端部特征，然后通过立体视觉获取视差信息，解算出管件伸出端部在相机坐标系中的三维位置，最后将相机坐标系下的管件伸出端的位置坐标转换到机械臂坐标系中，最终引导六自由度机械臂装置抓取目标管件的伸出端部，具体步骤如下：

S1、分别对左相机和右相机进行标定，获取左相机和右相机的内参数，包括内参数矩阵和畸变参数；并且根据左相机和右相机的外参数获取两个相机之间的位置参数T_C；

S2、对六自由度机械臂装置中的机械臂位置进行标定，获取机械臂坐标相对于左相机或右相机的坐标系的位置关系T_R；

S3、左相机和右相机分别采集有伸出端部的管件放置在箩筐内的目标场景图片，记为左图像和右图像；

S4、将左图像和右图像分别和其各自的预设模板图像进行差分运算，并且通过图像处理算法提取出管件伸出端部的轮廓；

S5、提取出左图像和右图像中管件伸出端部的共有图像特征点，通过基于特征的立体匹配算法，得出多个图像特征点的三维坐标，具体包括：

S51、通过直线拟合算法将管件伸出端部的轮廓的像素点集合拟合成直线，分别为直线l₁与l₂，并提取出轮廓的质心(u_l,v_l)与(u_r,v_r)；

S52、使用步骤S1中标定得到的畸变参数对管件伸出端部的轮廓进行去畸变处理；

S53、根据左相机和右相机的内参数矩阵通过三角测量方法，将二维平面的直线l₁与l₂，轮廓的质心(u_l,v_l)与(u_r,v_r)转换为三维空间的直线和质心；

S54、采集三维空间的直线上的多个点，使用POSIT姿态提取算法获取管件伸出端部的三维姿态(α_c,β_c,γ_c)；

S6、基于步骤S5中图像特征点的三维坐标，解算出管件伸出端部的姿态信息；

S7、将位姿信息传递给六自由度机械臂装置，六自由度机械臂装置执行抓取管件伸出端部的动作。

2.根据权利要求1所述的基于双目视觉的管件自动抓取方法，其特征在于，所述的步骤S5中，图像特征点包括角点特征、圆点特征、轮廓特征和SIFT特征。

3.根据权利要求1所述的基于双目视觉的管件自动抓取方法，其特征在于，所述的步骤S6中，具体包括：

S61、根据步骤S1中双相机之间位置参数T_C和步骤S2中的位置关系T_R将步骤S53中的三维空间的质心和步骤S54中的三维姿态从相机坐标系下转换到机械臂坐标系下；位置姿态信息即为机械臂坐标系下管件伸出端部的质心和三维姿态信息。

4.根据权利要求1所述的基于双目视觉的管件自动抓取方法，其特征在于，所述的预设模板图像为左相机和右相机分别拍摄管件端部未伸出箩筐的场景图片。

5.根据权利要求1所述的基于双目视觉的管件自动抓取方法，其特征在于，左相机和右相机的视轴之间保持有35～50度的角度，两个相机之间的基线距不小于40厘米。

6.根据权利要求1所述的基于双目视觉的管件自动抓取方法，其特征在于，所述的步骤S1中，标定方法为张正友相机标定、Tsai两步标定、Kruppa方程自标定或神经网络标定。

7.根据权利要求1所述的基于双目视觉的管件自动抓取方法，其特征在于，所述的步骤S2采用眼到手的方式进行标定。