[发明专利]一种基于RGB-D图像的机器人末端智能抓取方法

说明书

本发明公开了一种基于RGB‑D图像的机器人末端智能抓取方法，机器人末端智能抓取装置包括六自由度机械臂、机械臂末端二指夹持器和RGB‑D相机。六自由度机械臂用于实现夹持器在三维空间内的移动，机械臂末端二指夹持器用于夹取目标物体，RGB‑D相机用于获取目标物体的信息。在Tensorflow深度学习框架下，通过建立基于ResNet的神经网络模型，建立基于抓取数据集的训练样本；将候选矩形送入卷积神经网络的抓取分类模型，得到抓取矩形预测框，利用RGB‑D相机获取抓取参数，最终使用六自由度机械臂和末端二指夹持器抓取目标物体。本发明使机器人能够实现智能抓取，提高了机器人末端抓取成功率。

技术领域

本发明涉及机器人领域，具体涉及一种基于RGB-D图像的机器人末端智能抓取方法。

背景技术

随着智能技术的发展，人们对机器人抓取的要求越来越高，目前在生产线上工作的工业机器人大都是通过示教或预编程对其进行操作的，这样操作目标物体的初始位姿和终止位姿都是严格限定的，机器人只是完成点到点的动作，使得生产线的柔性较差，满足不了柔性生产系统对机器人抓取能力的要求。

发明内容

为了解决上述技术问题，本发明提供了一种基于RGB-D图像(具有深度信息的彩色图像)的机器人末端智能抓取方法，利用计算机视觉技术获取目标物体及其周围环境的信息，并能对目标物体的抓取位置做出决策，实现智能抓取。

一种基于RGB-D图像的机器人末端智能抓取方法，所述的机器人末端智能抓取装置包括六自由度机械臂、机械臂末端二指夹持器和RGB-D相机(即具有深度测量功能的彩色相机)。六自由度机械臂用来实现夹持器在三维空间内的移动，机械臂末端二指夹持器用来夹取目标物体，RGB-D相机用来获取目标物体的信息。

所述方法包括如下步骤:

步骤1：建立神经网络模型；以抓取物体信息为学习特征，建立基于卷积神经网络的抓取分类模型。

步骤2：建立基于抓取数据集的训练样本；训练样本是通过目标物体获得抓取矩形的抓取中心(r，c)、高度h、宽度w和角度angle，确定抓取所需的候选矩形框参数。

步骤3：建立抓取矩形框预测方式；在数据集上的预测，需要先得到一个物体所有的候选矩形框，然后将这些候选矩形送入神经网络打分，得到得分最高的几个矩形框。通过步骤2得到一个物体上的候选矩形，将候选矩形送入神经网络，得到预测的抓取矩形框。

步骤4：利用RGB-D相机获取抓取参数；将相机获取的点云数据，转换到机器人坐标系下，获得抓取的参数。

步骤5：使用末端执行器抓取目标物体；本方法使用的末端执行器是二指夹持器，只有开合，坐标系建立在二指夹持器的末端中心。根据矩形框内的三维点云得到末端夹持器的位姿，三维点云包括矩形框内部的目标物体上的点云和矩形框内的背景上的点云。

步骤6：重复步骤4-步骤5，完成机器人的末端智能抓取。

进一步地，步骤1中搭建平台采用Tensorflow平台，卷积神经网络选择基于ResNet的神经网络模型。

进一步地，步骤2中矩形中心点的获取具体为：先通过给定的背景与图片对比，得到目标物体在背景中的分割图像；横向和纵向分别以一定的等间距标记直线，既在直线交点上又在物体的分割图像上的点，就是所需要的矩形框的中心点；采样的间距根据实际的情况确定，如果目标物体整体在图像上的像素面积大，则适当地加大采样间距，相反，则适当地减小采样间距；根据数据集中的长和高，确定[h,w]，共有16组组合；Angle，取与Y轴的夹角，每次都随机产生12个值，值分布在0～180之间。

进一步地，步骤3中如果预测的矩形框为Rect，数据集标注的矩形框为Rect*，判断一个矩形预测成功的两个条件：(1)预测的矩形框Rect和标注的矩形框Rect*的夹角小于30度；(2)预测的矩形框Rect和标注的矩形框Rect*的重叠率score大于25％。