[发明专利]一种机器人机械臂抓取物体的抓取点自动定位方法

说明书

本发明涉及一种机器人机械臂抓取物体的抓取点自动定位方法，包括以下步骤：1)获取物体的RGB彩色图像和深度图像；2)将所述RGB彩色图像和深度图像通过一训练好的深度卷积神经网络模型，识别获取对应的物体区域标记、物体ID和物体朝向；3)根据所述物体ID选取对应物体的先验三维模型，根据所述物体区域标记和物体朝向将所述先验三维模型中最佳抓取点变换至实际观测空间，实现实际观测空间中抓取点的定位。与现有技术相比，本发明具有定位精确可靠等优点，即使抓取点在当前观测视角下由于自遮挡不可见，也能准确定位抓取点的空间位置。

技术领域

本发明属于目标识别与机器人机械臂智能抓取领域，尤其是涉及一种机器人机械臂抓取物体的抓取点自动定位方法，是一种基于RGB-D图像的目标识别和抓取点定位技术。

背景技术

随着工业自动化水平的提高，机器人的应用不断深入和完善。机器人协同工作越来越多地受到人们的关注，但现在的工业机器人灵活程度低，只能根据教程完成单一的抓取和安装，无法根据物体不同的位置做成相应的判断，在生产过程中，需要大量的机器人共同进行工作，实现工业生产，这样不仅提高了生产成本，而且大量的机器人共同工作，占有了大量的空间。

机器人机械臂对于物体的智能抓取具有巨大的应用需求，而机器人机械臂对物体的抓取主要涉及两个主要方面，第一个方面主要是视觉检测，包括物体ID的自动识别和抓取点的自动定位，因为不同物体的形态不同抓取点也不同；第二方面是主要是抓取物体的机器人机械臂控制。而现有技术中对于第一个方面的定位还存在不够精确等不足。

现有技术中的一种方法是通过采集RGB-D图像，基于深度学习进行候选区域划分，经过白化处理后输入训练好的神经网络获取抓取位置。该方法在区域划分时每张图片要产生数千个候选区域，将每个候选区域输入卷积神经网络进行检测，计算量大，检测速度慢，不适用于实时性能要求较高的领域。且该方式仅能获取到目标物的抓取候选区域，无法确定目标的三维姿态，因此对于随意放置的目标物难以根据其不同位姿规划出最佳抓取方式。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种。

本发明的目的可以通过以下技术方案来实现：

一种机器人机械臂抓取物体的抓取点自动定位方法，包括以下步骤：

1)获取物体的RGB彩色图像和深度图像；

2)将所述RGB彩色图像和深度图像通过一训练好的深度卷积神经网络模型，识别获取对应的物体区域标记、物体ID和物体朝向；

3)根据所述物体ID选取对应物体的先验三维模型，根据所述物体区域标记和物体朝向将所述先验三维模型中最佳抓取点变换至实际观测空间，实现实际观测空间中抓取点的定位。

进一步地，所述深度卷积神经网络模型包括：

特征提取模块，包括多个卷积子模块，对输入图像进行卷积计算，提取多维特征图谱；

特征池化模块，包括多个池化层，每个池化层对应连接于一所述卷积子模块之后，对所述多维特征图谱进行去最大值下采样；

估算模块，包括多个全连接层，连接于所述特征池化模块之后，用于估算获得物体区域标记、物体ID和物体朝向。

进一步地，所述特征提取模块中，第一个卷积子模块分为两个信息流，一个是对RGB彩色图像进行特征提取，一个是对深度图像进行特征提取，两个信息流合并后输入第二个卷积子模块。

进一步地，所述卷积子模块包括相连接的两层卷积层。

进一步地，所述估算模块包括分别用于估算物体区域标记、物体ID和物体朝向的三个估算子模块，每个所述估算子模块由两个全连接层构成。

进一步地，所述深度卷积神经网络模型中，每个卷积层后设有非线性激活层。