[发明专利]一种基于视觉信息融合的机械臂抓取目标物体方法

权利要求书

1.一种基于基于视觉信息融合的机械臂抓取目标物体方法，其特征在于，包括以下主要步骤：

(1)通过置于机械臂末端上方的相机获取含有目标物体的彩色图像以及相机坐标系下的图像深度信息；

(2)基于所述彩色图像，利用深度学习YOLO目标检测方法对目标物体进行检测，获取包围目标物体的三维矩形框的各角点及中心点的像素坐标；

(3)基于所述包围目标物体的三维矩形框的各点像素坐标，及相机坐标下的图像深度信息，计算出目标物体特征点在相机坐标系下的三维坐标；

(4)利用目标物体各特征点的三维坐标计算出目标物体在相机坐标系下的三维位置以及三维位姿；

(5)将目标物体在相机坐标系下的三维位置以及三维位姿转换至机械臂基座坐标系下；

(6)利用所述目标物体在机械臂基座坐标系下的三维位置以及三维位姿作为机械臂逆运动学输入，使用机械臂连接的二指夹爪进行目标抓取。

2.如权利要求1所述的方法，其特征在于，所述步骤(1)中所述的相机为RGB-D相机，固定在所述机械臂末端上方，随机械臂运动而运动。

3.如权利要求1所述的方法，其特征在于，所述步骤(3)中基于所述包围目标物体的三维矩形框的各角点和中心点像素坐标需要融合所得相机坐标系下的图像深度信息，其中的图像深度信息为特征点像素坐标对应的深度相机得到的深度信息；

基于所述像素坐标和图像深度信息，由相机的透视投影成像几何原理以及标定所得的相机内参，将三维矩形框各角点和中心点像素坐标转换为准确的相机坐标下的三维坐标。

4.如权利要求1所述的方法，其特征在于，所述步骤(4)中将目标物体三维矩形框中心点的三维坐标作为目标物体在相机坐标系下的三维位置，并根据得到的目标物体各特征点的三维坐标利用迭代最近点方法，求解目标物体在相机坐标系下的三维位姿。

5.如权利要求1所述的方法，其特征在于，所述步骤(5)所述的相机坐标系与机械臂基座坐标系的转换关系为：

其中为目标物体在机械臂坐标下的三维坐标，而为目标物体在相机坐标下的三维坐标，T为手眼标定矩阵；

手眼标定矩阵的获取是通过多次运动机械臂末端，使相机采集多次标定板信息，其中机械臂基座与标定板固定不动，机械臂基座坐标系与机械臂末端坐标系的转换矩阵已知，相机坐标系下的标定板坐标已知，求解可得机械臂末端坐标系与相机坐标系得转换矩阵，以此得相机坐标系与机械臂基座坐标系转换矩阵。

6.如权利要求1所述的方法，其特征在于，所述步骤(6)所述二指夹爪与机械臂连接，所述的目标物体在机械臂基座坐标系下的三维位置以及三维位姿作为机械臂逆运动学输入，向机械臂发出运动控制指令，使用机器人操作系统ROS系统中用于运动规划的MoveIt！功能包，进行机械臂末端到目标位置及位姿的运动规划，当机械臂末端运动到目标位置及位姿时，根据所述运动控制指令，由二指夹爪进行张开、夹紧完成目标物体抓取任务。