[发明专利]一种机器人机械臂抓取物体的抓取点自动定位方法

权利要求书

1.一种机器人机械臂抓取物体的抓取点自动定位方法，其特征在于，包括以下步骤：

1)获取物体的RGB彩色图像和深度图像；

2)将所述RGB彩色图像和深度图像通过一训练好的深度卷积神经网络模型，识别获取对应的物体区域标记、物体ID和物体朝向；

3)根据所述物体ID选取对应物体的先验三维模型，根据所述物体区域标记和物体朝向将所述先验三维模型中最佳抓取点变换至实际观测空间，实现实际观测空间中抓取点的定位；

所述根据所述物体区域标记和物体朝向将所述先验三维模型中最佳抓取点变换至实际观测空间具体为：

301)根据估算的物体朝向，对选取的先验三维模型进行渲染得到三维点云P_gt；

302)根据估算的物体区域标记，将输入的深度图像物体标记区域的像素转化为三维点云P_input；

303)将所述三维点云P_gt和P_input配准，获得最优的旋转参数R和平移参数T；

304)根据所述旋转参数R和平移参数T将先验三维模型中的最佳抓取点变换至实际观测空间。

2.根据权利要求1所述的机器人机械臂抓取物体的抓取点自动定位方法，其特征在于，所述深度卷积神经网络模型包括：

特征提取模块，包括多个卷积子模块，对输入图像进行卷积计算，提取多维特征图谱；

特征池化模块，包括多个池化层，每个池化层对应连接于一所述卷积子模块之后，对所述多维特征图谱进行去最大值下采样；

估算模块，包括多个全连接层，连接于所述特征池化模块之后，用于估算获得物体区域标记、物体ID和物体朝向。

3.根据权利要求2所述的机器人机械臂抓取物体的抓取点自动定位方法，其特征在于，所述特征提取模块中，第一个卷积子模块分为两个信息流，一个是对RGB彩色图像进行特征提取，一个是对深度图像进行特征提取，两个信息流合并后输入第二个卷积子模块。

4.根据权利要求2所述的机器人机械臂抓取物体的抓取点自动定位方法，其特征在于，所述卷积子模块包括相连接的两层卷积层。

5.根据权利要求2所述的机器人机械臂抓取物体的抓取点自动定位方法，其特征在于，所述估算模块包括分别用于估算物体区域标记、物体ID和物体朝向的三个估算子模块，每个所述估算子模块由两个全连接层构成。

6.根据权利要求2所述的机器人机械臂抓取物体的抓取点自动定位方法，其特征在于，所述深度卷积神经网络模型中，每个卷积层后设有非线性激活层。

7.根据权利要求1所述的机器人机械臂抓取物体的抓取点自动定位方法，其特征在于，所述深度卷积神经网络模型训练时采用的样本数据库通过以下方式获得：

从在线3D模型库中获取各类物体模型，对各物体模型赋予对应物体ID，并标记最佳抓取点，多视角渲染所述物体模型，生成RGB彩色图像集和深度图像集，所述RGB彩色图像集和深度图像集构成样本数据集。

8.根据权利要求7所述的机器人机械臂抓取物体的抓取点自动定位方法，其特征在于，进行所述多视角渲染时，渲染背景随机设置为NYU-Depth V2背景图片或者Make-3D室外背景图片。

9.根据权利要求1所述的机器人机械臂抓取物体的抓取点自动定位方法，其特征在于，所述将所述三维点云P_gt和P_input配准具体为：

将三维点云P_gt和P_input的重心进行配准，采用最近点迭代的方法求解最优的旋转参数R和平移参数T。