[发明专利]一种基于多目视觉的双臂机器人手眼协调方法

权利要求书

1.一种基于多目视觉的双臂机器人手眼协调方法，其特征在于，具体步骤为：

步骤1、将两个双目摄像头分别安装至双臂机器人的机械臂上，并分别标定出摄像头到装有该摄像头的机械臂末端的转移矩阵、机械手臂末端到基座的变换矩阵以及两个机械臂基座之间的变换矩阵；

步骤2、控制机械臂移动，通过双目摄像头搜寻目标物体，并保存目标物体的特征，直到至少有两个单目摄像头拍摄到目标物体，完成对目标物体的搜寻；

步骤3、上位机提取并处理扫描终止时具有目标特征的两幅图像，获得目标物体的三维坐标信息，完成对目标物体的定位；

步骤4、基于目标物体的三维信息，控制机械臂进行抓取，完成对目标物体的抓取；

步骤5、将目标物体移至固定区域，机械臂返回初始状态，完成抓取任务。

2.根据权利要求1所述的基于多目视觉的双臂机器人手眼协调方法，其特征在于，步骤2中控制机械臂移动，通过双目摄像头搜寻目标物体，并保存目标物体的特征，直到至少有两个单目摄像头拍摄到目标物体，完成对目标物体的搜寻，具体步骤为：

步骤2-1、控制任意一条机械臂基座舵机缓慢旋转，带动双目摄像头对目标物体进行扫描和检测；

步骤2-2、保存目标物体的特征；

步骤2-3、控制基座舵机保持原有扫描方向继续转动30°，当可转动角度不足30°时，按可转动角度进行转动；

步骤2-4、判断该机械臂上的两个摄像头是否都拍摄到目标物体，若该机械臂上的两个摄像头都拍摄到目标物体，则停止扫描；若该机械臂上的两个摄像头中只有一个摄像头拍摄到目标物体，则控制另一条机械臂带动双目摄像头对目标物体进行扫描和检测，重复步骤2-2、步骤2-3，直到至少有两个单目摄像头拍摄到目标物体，完成对目标物体的搜寻。

3.根据权利要求1所述的基于多目视觉的双臂机器人手眼协调方法，其特征在于，步骤3中上位机提取并处理扫描终止时具有目标特征的两幅图像，提取并处理具有目标特征的前两幅图像。

4.根据权利要求1所述的基于多目视觉的双臂机器人手眼协调方法，其特征在于，步骤3中上位机提取并处理扫描终止时具有目标特征的图像，获得目标物体在世界坐标系中的三维坐标，完成对目标物体的定位，具体步骤为：

步骤3-1、提取两幅具有目标特征的图像，得到目标物体分别在两幅图的图像坐标系中的像素坐标(u,v)；

步骤3-2、根据坐标系中长度与像素的关系，得到目标物体分别在两幅图的图像坐标系中的长度坐标(x,y)，具体为：

式中，d_x,d_y分别表示一个像素的长度和高度，u₀,v₀表示目标物体的图像投影点坐标；

步骤3-3、根据图像坐标系与摄像机坐标系的关系，得到目标物体分别在拍摄两幅图的摄像机坐标系中的三维坐标x_c,y_c,z_c，具体为：

步骤3-4、根据目标物体在拍摄到两个摄像机坐标系中的三维坐标x_c,y_c,z_c，得到目标物体在世界坐标系中的三维坐标x_w,y_w,z_w，具体为：

式中，矩阵M表示摄像头到世界坐标系原点的转移矩阵。

5.根据权利要求1所述的基于多目视觉的双臂机器人手眼协调方法，其特征在于，步骤4中基于目标物体的三维信息，控制机械臂进行抓取，完成对目标物体的抓取具体步骤为：

步骤4-1、根据获取的目标物体的三维坐标信息，控制到目标物体距离最小的机械臂进行抓取；

步骤4-2、双目摄像头实时拍摄目标物体，获取目标物体新的三维坐标信息；

步骤4-3、重复步骤4-1、步骤4-2，直至机械臂抓取到目标物体，进行步骤5。