[发明专利]目标对象的姿态检测方法、装置、设备及存储介质

权利要求书

1.一种目标对象的姿态检测方法，其特征在于，所述方法包括：

获取从不同角度采集的目标对象的彩色图像以及所述彩色图像对应的深度图像，所述彩色图像至少包括第一彩色图像和第二彩色图像；

利用所述深度图像对所述目标对象进行三维重建，得到三维重建过程中相邻两帧深度图像中的目标对象的相对姿态；

基于所述相邻两帧深度图像中的目标对象的相对姿态，确定所述第二彩色图像中的目标对象与所述第一彩色图像中的目标对象的第一相对姿态；

基于所述第一相对姿态、以及所述第一彩色图像中的目标对象相对于目标对象的三维网格模型的相对姿态，确定所述第二彩色图像中的目标对象相对于所述三维网格模型的第二相对姿态，其中，所述三维网格模型基于所述第一彩色图像中提取的目标对象的关键点确定，从所述第一彩色图像中提取的所述目标对象的关键点多于从所述第二彩色图像中提取的所述目标对象的关键点。

2.根据权利要求1所述的方法，其特征在于，获取从不同角度采集的目标对象的彩色图像以及所述彩色图像对应的深度图像，包括：

获取图像采集装置从不同角度采集得到的多帧RGBD图像，其中，相邻两帧RGBD图像中存在重叠区域。

3.根据权利要求1或2所述的方法，其特征在于，所述三维网格模型基于所述第一彩色图像中提取的目标对象的关键点确定，包括：

从所述第一彩色图像中提取所述目标对象的关键点；

基于所述关键点和预设的标准三维网格模型拟合得到所述目标对象的三维网格模型。

4.根据权利要求1或2所述的方法，其特征在于，从所述第一彩色图像中提取的目标对象的关键点数量不小于预设数量阈值，所述预设数量阈值基于所述目标对象的目标侧分布的关键点的数量确定，所述目标侧分布的关键点数量大于所述目标对象的其他侧分布的关键点数量。

5.根据权利要求1所述的方法，其特征在于，所述利用所述深度图像对目标对象进行三维重建，得到三维重建过程中相邻两帧深度图像中的目标对象的相对姿态，包括：

获取所述深度图像；

针对所获取的任一深度图像，分别执行以下操作：

将所述深度图像对应的点云模型与已重建的点云模型进行配准，得到多对匹配点对；

基于所述多对匹配点对确定所述深度图像中的目标对象与所述深度图像的上一帧深度图像中的目标对象的相对姿态。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

基于所述深度图像中的目标对象与所述深度图像的上一帧深度图像中的目标对象的相对姿态，将所述深度图像对应的点云模型融合到所述已重建的点云模型中，更新所述已重建的点云模型。

7.根据权利要求5或6所述的方法，其特征在于，所述将所述深度图像对应的点云模型与已重建的点云模型进行配准，得到多对匹配点对，包括：

确定所述深度图像对应的点云模型中的各点云点的第一属性信息，以及所述已重建的点云模型中各点云点的第二属性信息；

基于所述第一属性信息与所述第二属性信息，对所述深度图像对应的点云模型和所述已重建的点云模型进行配准，得到多对匹配点对。

8.根据权利要求7所述的方法，其特征在于，所述第一属性信息或所述第二属性信息包括以下一种或多种：点云点的法向量、点云点的RGB像素值。

9.根据权利要求1或2所述的方法，其特征在于，在基于所述深度图像对所述目标对象进行三维重建的过程中，所述目标对象的第一侧先于所述目标对象的第二侧重建得到，其中，所述第一侧分布的关键点数量多于所述第二侧分布的关键点数量。