[发明专利]一种机械臂抓取物体实时三维重建方法

权利要求书

1.一种机械臂抓取物体实时三维重建方法，其特征在于，包括以下步骤：

(1)利用RGB-D深度相机获取场景深度信息和彩色图像，基于深度信息进行实时背景分割，将背景从重建场景中剔除，仅保留动态物体；

(2)针对步骤(1)保留的动态物体，通过对动态物体实时位姿解算，获取动态物体三维点云模型；方法如下：通过RGB-D深度相机通过红外结构光原理测量像素距离，求得点在相机坐标系下的三维坐标；为减少对计算设备的压力和保证三维重建的实时性，对相机坐标系下的点云中的点进行采样，并对采样后的点分别计算点云法线，采用三维点云法线方向上的ICP配准加二维RGB图像光流法进行联合结算，在保证实时性的同时，精确求解空间中物体运动姿态，最终推出世界坐标系下的点云位置，获取动态物体三维点云模型，提高了机械臂抓取物体实时三维重建精度；

(3)针对步骤(2)获取的动态物体三维点云模型，剔除动态物体三维点云模型中的机械爪，获得机械臂抓取物体的三维点云模型；方法如下：

待重建的机械臂抓取目标物体与机械爪紧密接触，二者同时出现在相机视场范围内；在进行目标物体点云数据获取时，同时会对机械爪进行点云重建；

3.1)对步骤2)获取的动态物体三维点云模型进行聚类，首先，确定区域生长的初始种子点，先计算所有点的曲率，再依据点的曲率值对点进行排序，把曲率值最小的点设为种子点，曲率最小的点位于平坦区域，把种子点设在此处，能够减少区域的总数，提高效率；其次，在确定出始种子点后，搜索种子点的邻域点，对比每一个邻域点与当前种子点之间的颜色差异，如果小于设定阈值，则将该邻域点加入到当前区域，检查每一个邻域点的曲率值，小于设定曲率阈值的点成为新的种子点，并删除之前种子点；最后，从新的种子点继续增长，重复之前步骤，直到没有新的种子点产生，完成了第一次颜色聚类；

在第一次聚类基础上，对比相邻区域的平均颜色，如果两个邻域的平均颜色小于设定阈值则将两个区域合并，再检查每一个区域点的数量，如果区域中点的数量少于设定的阈值则将该区域与最近邻区域合并，完成最终聚类；

3.2)对3.1)聚类结果进行判别，判别出待重建目标和机械爪，机械爪抓取到目标物体后，将目标物体放置在相机前方适当距离，并将物体进行旋转，此过程中机械爪位置一直位于目标物体上方，因此通过比较不同聚类点云的质心高度对目标物体所属聚类进行判断；在进行比较之前，由于所获取点云的主方向不一定与相机坐标系的坐标轴重合，因此不便直接对点云数据的某一几何维度进行比较；为了保证判断结果的准确性，首先计算所获取的机械臂与物体点云的主方向，利用主成分分析法获得所有点云的三个主方向，获取质心，计算协方差矩阵，求取协方差矩阵的特征值，最大的特征值对应的特征向量即为主方向；再利用所获得的主方向和质心，将输入点云转换至原点，且主方向与坐标系方向重合，此时所得到的质心高度最低的聚类，即为目标物体所属的划分；

3.3)利用两次分割算法，对小于预定体积的目标物体点云进行有效分割；机械爪对于体积较小的目标物体遮挡程度较高，同时相机传感器很难在目标物体与机械爪接触的部分准确的获取目标物体的颜色信息，造成部分机械爪残留；采取两次分割的方法实现体积小于预定体积的目标物体的三维重建效果；在第一次分割中，提高颜色阈值和最小聚类的点云数量，降低分割的精细度，实现对大部分机械爪点云的去除，同时不产生过多的聚类数目，降低分割结果判断难度，提高算法鲁棒性；在第二次分割中，降低区域生长算法的颜色阈值和最小聚类的点云数目，进一步将机械爪和目标物体分开，剔除大部分机械爪；根据残留机械爪点云数量远远少于目标物体点云的先验信息，通过比较不同聚类的点云数目对聚类结果进行筛选，保留点云数目最多的聚类结果，获得目标物体点云模型。

2.根据权利要求1所述的机械臂抓取物体实时三维重建方法，其特征在于：所述步骤(1)中，利用RGB-D深度相机获取场景深度信息和彩色图像，通过基于深度信息的实时背景分割技术，将背景从重建场景中剔除，仅保留动态物体，方法如下：

利用RGB-D深度相机获取场景深度信息和彩色图像信息，得到深度图和彩色图；基于深度信息进行静态背景分割，将背景从重建场景中剔除，仅保留动态物体，在此基础上再进行动态物体的三维重建；首先对RGB-D深度相机采集到的数据进行深度提取，对深度信息进行预处理，将深度图与彩色图对齐；然后根据先验信息设定分割深度距离大小，改变深度图的局部深度分布；最后依照处理后的深度图对彩色图进行像素级别的分割；为保证能够完全剔除背景，深度分割模块将设定距离之外的深度赋值为无穷远，在保证精确性的基础上又保证实时性。