[发明专利]物体的位姿估计方法、装置、设备及存储介质

说明书

本申请公开了一种物体的位姿估计方法、装置、设备及存储介质，方法包括：拍摄物体的第一彩色深度图像，提取第一彩色深度图像的特征点；基于第一彩色深度图像的特征点，从所述物体对应的预存文件中选取与所述第一彩色深度图像匹配的第二彩色深度图像；其中，所述预存文件包括物体的多个彩色深度图像及每个彩色深度图像的特征点；根据第一彩色深度图像和第二彩色深度图像之间匹配的特征点，计算物体的初始位姿；根据预存文件中重建所述物体的三维模型所采用的颜色模式及采用所述颜色模式的置信度，对初始位姿进行迭代优化，得到物体的最终位姿。根据本申请实施例提供的物体位姿估计方法，可准确迅速的对陌生物体的姿态进行估计，且性能良好。

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种物体的位姿估计方法、装置、设备及存储介质。

背景技术

物体6D位姿估计是指估计相机坐标系下物体的6D姿态，包括旋转和平移，即得到物体本身坐标系到相机坐标系的旋转和平移变换。从图像估计物体的6D姿态是计算机视觉中的一个基本问题。它有许多重要的应用，例如机器人抓取，自主导航，增强现实等。

目前，现有的物体6D位姿估计方法，包括使用深度学习方法提取3D-2D关键点对应关系进行初步的位姿估计，然后基于最小化物体空间共线性误差对初步估计的位姿进行迭代优化，得到精细的位姿。但是该方法无法对陌生物体进行位姿估计。还包括使用深度学习对RGBD图像进行目标位姿估计，移动相机多次估计迭代优化位姿。但是该方法依然无法对陌生物体进行位姿估计，且RGBD相机对透明物体成像会缺失深度信息，影响位姿估计性能。

发明内容

本申请实施例提供了一种物体的位姿估计方法、装置、设备及存储介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

第一方面，本申请实施例提供了一种物体的位姿估计方法，包括：

拍摄物体的第一彩色深度图像，提取所述第一彩色深度图像的特征点；

基于所述第一彩色深度图像的特征点，从所述物体对应的预存文件中选取与所述第一彩色深度图像匹配的第二彩色深度图像；其中，所述预存文件包括所述物体的多个彩色深度图像及每个彩色深度图像的特征点；

根据所述第一彩色深度图像和第二彩色深度图像之间匹配的特征点，计算所述物体的初始位姿；

根据所述预存文件中重建所述物体的三维模型所采用的颜色模式及采用所述颜色模式的置信度，对所述初始位姿进行迭代优化，得到所述物体的最终位姿。

在一个实施例中，根据所述第一彩色深度图像和第二彩色深度图像之间匹配的特征点，计算物体的初始位姿，包括：

从所述物体的预存文件中获取所述第二彩色深度图像对应的点云数据及位姿；

根据所述第一彩色深度图像和第二彩色深度图像之间匹配的特征点以及所述点云数据，获取所述第一彩色深度图像和所述第二彩色深度图像之间的相对位姿；

计算所述相对位姿与所述第二彩色深度图像对应的位姿的乘积，得到所述物体的初始位姿。

在一个实施例中，根据所述预存文件中重建所述物体的三维模型所采用的颜色模式及采用所述颜色模式的置信度，对所述初始位姿进行迭代优化，得到物体的最终位姿，包括：

从所述物体的预存文件中获取重建所述物体的三维模型所采用的颜色模式及采用所述颜色模式的置信度；

在所述置信度大于等于预设第一阈值的情况下，采用所述颜色模式对应的优化算法对所述初始位姿进行迭代优化，得到所述物体的最终位姿；