[发明专利]一种基于RGB-D图像的机器人末端智能抓取方法

权利要求书

1.一种基于RGB-D图像的机器人末端智能抓取方法，所述的机器人末端智能抓取装置包括六自由度机械臂、末端执行器和RGB-D相机；六自由度机械臂用来实现末端执行器在三维空间内的移动，末端执行器用来夹取目标物体，RGB-D相机用来获取目标物体的信息；

其特征在于，所述方法包括如下步骤:

步骤1：建立神经网络模型；以抓取物体信息为学习特征，建立基于卷积神经网络的抓取分类模型；

步骤2：建立基于抓取数据集的训练样本；训练样本是通过目标物体获得抓取矩形的抓取中心(r，c)、高度h、宽度w和角度angle，确定抓取所需的候选矩形框参数；

步骤3：建立抓取矩形框预测方式；在数据集上的预测，需要先得到一个物体所有的候选矩形框，然后将这些候选矩形送入神经网络打分，得到得分最高的几个矩形框；通过步骤2得到一个物体上的候选矩形，将候选矩形送入神经网络，得到预测的抓取矩形框；

步骤4：利用RGB-D相机获取抓取参数；将相机获取的点云数据，转换到机器人坐标系下，获得抓取的参数；

步骤5：使用末端执行器抓取目标物体；本方法使用的末端执行器是二指夹持器，只有开合，坐标系建立在二指夹持器的末端中心；根据矩形框内的三维点云得到末端夹持器的位姿，三维点云包括矩形框内部的目标物体上的点云和矩形框内的背景上的点云；

步骤6：重复步骤4-步骤5，完成机器人的末端智能抓取。

2.如权利要求1所述的一种基于RGB-D图像的机器人末端智能抓取方法，其特征在于，步骤1中搭建平台采用Tensorflow平台，卷积神经网络选择基于ResNet的神经网络模型。

3.如权利要求1所述的一种基于RGB-D图像的机器人末端智能抓取方法，其特征在于，步骤2中矩形中心点的获取具体为：先通过给定的背景与图片对比，得到目标物体在背景中的分割图像；横向和纵向分别以一定的等间距标记直线，既在直线交点上又在物体的分割图像上的点，就是所需要的矩形框的中心点；采样的间距根据实际的情况确定，如果目标物体整体在图像上的像素面积大，则适当地加大采样间距，相反，则适当地减小采样间距；根据数据集中的长和高，确定[h,w]，共有16组组合；Angle，取与Y轴的夹角，每次都随机产生12个值，值分布在0～180之间。

4.如权利要求1所述的一种基于RGB-D图像的机器人末端智能抓取方法，其特征在于，步骤3中如果预测的矩形框为Rect，数据集标注的矩形框为Rect*，判断一个矩形预测成功的两个条件：(1)预测的矩形框Rect和标注的矩形框Rect*的夹角小于30度；(2)预测的矩形框Rect和标注的矩形框Rect*的重叠率score大于25％；

5.如权利要求1所述的一种基于RGB-D图像的机器人末端智能抓取方法，其特征在于，步骤4具体为：假设机器人坐标系为Xr Yr Zr，相机坐标系为的Xc Yc Zc，在空间取四个点，然后求出这四个点的平均值，分别将两个坐标系移动到均值点；假设有一个点在平移之后的机器人坐标系下坐标值为(x,y,z)，在平移之后的相机下的坐标值为(x’,y’,z’)，那么它们之间满足关系式：

其中R为旋转矩阵，矩阵大小为3×3；对于空间四个点，就有四个矩阵的等式，然后利用最小二乘法求解即可得到旋转矩阵；假设均值点在机器人坐标系Xr Yr Zr和相机坐标系XcYc Zc的坐标值分别为(x1,y1,z1)和(x1’,y1’,z1’)，那么他们之间满足关系式：

其中T为平移分量，是一个3×1的矩阵，三个未知数，三个方程求出T。

6.如权利要求1所述的一种基于RGB-D图像的机器人末端智能抓取方法，其特征在于，步骤5具体为：按照如下映射准则获取一组抓取参数:(1)末端夹持器的姿态:提取矩形框中心处点云，剔除掉那些不在物体上的点，用最小二乘法求取法向量；通过之前的标定，获得相机坐标系的原点在机器人坐标系中的位置，所求得的法向量与矩形框到相机坐标原点的向量夹角不要超过90度，否则取反方向；求得法向量之后，对法向量取反方向为二指夹持器的接近向量，也就是Z轴的方向，Y轴取长边W对应的方向；(2)末端二指夹持器的位置:先计算矩形框内的物体上三维点云的平均值，假设此点为A，末端二指夹持器的手指长度大概是65mm，将A点沿着接近向量方向移动45mm设为B点，B点就是手爪坐标系的位置，这样抓取物体的时候夹持器离物体20mm；但是如果此时手指碰到了桌面了，需要计算末端夹持器沿着接近向量接触到桌面的位置，假设为C点，那么此时C点就是末端二指夹持器的位置；矩形框映射出来的抓取是位置C，位置B是由C沿着接近向量的反方向移动100mm，位置A是夹持器的初始位置；运动轨迹是先从初始位置A移动到B，再沿着接近向量的方向移动到C，然后闭合手指抓取物体，闭合完成之后，沿着夹持器的Z轴方向向上提升。