[发明专利]一种基于深度相机的非规则物体位姿估计方法及装置

说明书

本发明公开了一种基于深度相机的非规则物体位姿估计方法和装置，包括：1)获取场景的二维RGB图像和对应的深度图；2)基于获取到的二维RGB图像，识别后得到第一目标点云模型；3)构建全局点云，并提取到第二目标点云模型；4)将第一目标点云模型和第二目标点云模型进行质量评估和加权融合，得到融合点云模型；5)将融合点云模型从相机坐标系转换到视锥坐标系下；6)对融合点云模型进行语义分割，并转换到掩模坐标系下，形成3D点云模型；7)对3D点云模型中的目标进行3D位姿的预测。采用本发明的技术方案能够在三维空间中准确地估计出目标的位姿，进而获取高质量抓取部位，保证抓取的精确度。

技术领域

本发明涉及一种图像处理技术，尤其涉及一种基于深度相机的非规则物体位姿估计方法及装置。

背景技术

机器人技术是具有前瞻性、战略性的高技术领域。其技术的发展水平成为衡量一个国家高科技水平和工业自动化程度的重要标志。机器人飞速发展的今天，工业机器人在各行各业的应用也越来越广泛，其中在危险作业领域，机器人技术有着重要的实际意义。机器人的视觉系统作为机器人系统的重要组成部分，首先需要识别目标对象及位置，然后才能完成路径规划和控制等过程。因此，机器人对目标对象识别的准确性以及定位的准确性，能够优化机器人抓取路径并改善抓取任务系统的整体性能。同时机器人能够实时处理视觉信息，机器人系统的工作效率将会被极大提高，人机交互能力也将会增强。

过去主要的工作是使用三维建模复原来找到好的抓取点，虽然这些基于三维模型的方法在受控情况下表现良好，但它们依赖于构建复杂且准确的三维模型。随着卷积神经网络算法在计算机视觉领域的快速发展，2D目标检测算法也随之快速发展，已经成功应用于字符识别和物体表面检测等领域。对应的机器人抓取方法采用RGB图像生成目标矩形区域，但是这种方法缺少了三维空间下的目标抓取部位位置，导致抓取精度较低。在这十年之间，低成本深度摄像机的引入以及计算框架的出现，改进了抓取识别的新方法。我们可以利用深度相机，利用算法重建出高质量的物体点云模型，估计出物体的位姿，得到精确的3D空间位置信息，提高目标抓取的准确度。

现有的实现方案主要包括以下三种：1)双目视觉定位：使用两个相机在不同位置采集图像，对采集的图像进行模板匹配，再根据视差和三角测距原理计算出目标物体的位置；2)标记物识别：在目标物体上贴提前准备好的标记物(如二维码)，通过摄像头识别标记物信息，进行定位得到目标位置信息；3)深度学习识别定位：通过深度学习框架和数据集训练神经网络模型，再用训练好的模型识别图像中的目标物体位置。

现有技术缺点：基于模板匹配的方法计算量大，且不适用于复杂的实际场景；利用标记物识别的方法无法适用于实际应用场景，不可能在每个待抓取物体上贴好标记物；单一的深度学习识别定位方法仅能确定目标的大致位置，无法获得三维空间下物体抓取部位的表征。

发明内容

本发明意在提供一种基于深度相机的非规则物体位姿估计方法及装置，能够在三维空间中准确地估计出目标的位姿，进而获取高质量抓取部位，保证抓取的精确度。

为达到上述目的，本发明提供如下技术方案：

一种基于深度相机的非规则物体位姿估计方法，包括：

S1：利用深度相机采集户外三维场景，获取场景的二维RGB图像和对应的深度图；

S2：基于获取到的二维RGB图像，利用深层的特征提取网络提取图像信息，识别出图像中的目标候选区域，得到对应检测框；将检测框映射到深度图中并选取其中的深度信息，将识别后的深度图转换成三维点云，得到第一目标点云模型，对检测结果评估后得到置信度α；

S3：基于深度信息构建全局点云，将全局点云转化成高纬度的特征图并传入检测模块，检测和回归3D边框并获得相对应置信度β，用3D边框在全局点云中提取第二目标点云模型；

S4：将第一目标点云模型和第二目标点云模型进行质量评估和加权融合，得到融合点云模型；