[发明专利]一种机械臂抓取物体实时三维重建方法

说明书

本发明涉及一种机械臂抓取物体实时三维重建方法，包括以下步骤：(1)利用RGB‑D深度相机获取场景深度信息和彩色图像，基于深度信息进行实时背景分割，将背景从重建场景中剔除，仅保留动态物体；(2)针对步骤(1)保留的动态物体，通过对动态物体实时位姿解算，获取动态物体三维点云模型；(3)针对步骤(2)获取的动态物体三维点云模型，剔除动态物体三维点云模型中的机械爪，获得机械臂抓取物体的三维点云模型。本发明能实现机械爪与目标模型之间的完整分割，改善在机械爪影响下，三维重建模型精度，提升模型分割准确性，提升三维重建速度。

技术领域

本发明涉及动态物体实时三维重建领域，具体涉及一种机械臂抓取物体实时三维重建方法。

背景技术

三维重建是指对三维物体建立合适的计算机模型并进行数字处理的过程，是计算机或智能机器人感知环境的最直接方式，在各行各业都用之广泛的应用，如何快速有效的获得精确模型，已成为学术和工业领域重要的研究课题。

随着三维重建研究领域的不断发展，三维模型的建立由传统的接触式方法逐渐发展为以视觉三维重建为代表的多种非接触式方法，视觉三维重建因其适用范围广、成本低等优势，成为这一领域的研究热点。根据图像数据来源，基于视觉的三维重建大体可分为多视图三维重建和基于视觉SLAM的三维重建。其中基于多视图的稠密三维重建算法运行时间较长，无法满足实时三维重建的需要，于是，能够进行实时三维重建的视觉SLAM的重建方法成为了研究的重点方向。

但与此同时，基于视觉的三维重建技术，又存在着种种制约，首先在重建项目的原理层面上来说，“静态世界假设”是目前基于视觉三维重建方法共同的依赖，假设中规定，建模场景内所有物体是绝对静止的，然而这样的场景在实际中难以达到，场景内其他物体产生的噪声对重建结果影响严重，使得三维重建技术难以在普通场景进行推广应用；其次，三维模型的构建需要实时解算相机位置与姿态的变化，在这过程中需要消耗大量的计算资源；最后，在重建物体与场景内其他物体产生互相遮挡，并且模型较难取得准确的先验信息时，如何精确的将目标物体准确的分割出来是目前的难点所在。

发明内容

本发明的技术解决的问题是：克服现有技术不足，提供动态场景实时视觉三维重建方法，实现机械爪与目标模型之间的完整分割，改善在机械爪影响下，三维重建模型精度，提升模型分割准确性，提升三维重建速度。

本发明的技术解决方案为一种机械臂抓取物体实时三维重建方法，包括以下步骤：

(1)利用RGB-D深度相机获取场景深度信息和彩色图像，基于深度信息进行实时背景分割，将背景从重建场景中剔除，仅保留动态物体；

(2)针对步骤(1)保留的动态物体，通过对动态物体实时位姿解算，获取动态物体三维点云模型；

(3)针对步骤(2)获取的动态物体三维点云模型，剔除动态物体三维点云模型中的机械爪，获得机械臂抓取物体的三维点云模型。

进一步的，所述步骤(1)中，利用RGB-D深度相机获取场景深度信息和彩色图像，基于深度信息进行实时背景分割，将背景从重建场景中剔除，仅保留动态物体的方法如下：

由RGBD相机采集得到的彩色图和深度图，但由于深度图采集传感器和彩色图采集传感器的视场和空间坐标系不同，需要对深度图和彩色图进行对齐操作，首先将深度图的像素点还原在深度坐标系下，再将深度空间的深度点映射到世界坐标系下，再将世界坐标系的深度点转换到彩色摄像头坐标系，并将彩色摄像头坐标系下的深度点映射到Z＝1的平面上。

接着根据深度图对彩色图进行分割，保证视场内只有被建模的物体，增强后续位姿估计的准确性。

进一步的，所述步骤(2)中，针对步骤(1)保留的动态物体，通过对动态物体实时位姿解算，获取动态物体三维点云模型，方法如下：