[发明专利]一种针对单视角深度图的实时形状补全和姿态估计方法

权利要求书

1.一种直接针对单视角深度图的实时形状补全和姿态估计方法，其特征在于，包括如下步骤：

步骤1.输入单视角的深度图；

步骤2.将深度图通过已知的相机内参，经过坐标转换，计算为点云数据；

转换过程通过下面的公式：

其中，(x_W,y_W，z_W)为深度图上坐标为(u,v)的点投影到世界坐标系上的点，而(u₀,v₀)为图像中心的坐标，f/dx与f/dy都是相机的焦距值，z_C是该点存储的深度值；

步骤3.利用PointSIFT方法，首先对场景数据预分割，得到场景中待重建对象的局部点云数据；

步骤4.包括两个分支网络，其中一个分支对输入的三维点云进行多次卷积，输出为刚性对象的SPL或非刚性对象的Joints，形式均为有序的点列；另一分支则编码输入点云，输出隐式形状编码；

步骤5.将步骤4第一分支的点列输出卷积编码，输出与第二分支的形状编码空间维度相同的隐式姿态编码；

步骤6.将步骤4中第二分支形状空间编码的隐空间维度以及步骤5中的姿态空间编码的隐空间维度的两个编码矩阵按位做相乘，得到形状-姿态空间的混合编码；

步骤7.将这一混合编码输入到由转置卷积组成的解码网络，经过多层卷积后，输出三维对象在该姿态下的完整结构预测。

2.根据权利要求1所述的直接针对单视角深度图的实时形状补全和姿态估计方法，其特征在于，所述步骤3中，分割网络还输出局部点云数据对应完整对象的类别标签。

3.根据权利要求1所述的直接针对单视角深度图的实时形状补全和姿态估计方法，其特征在于，所述步骤4的第一分支网络采用PointNet结构，对于刚性对象，采取预统一先定义的结构化点列衡量其姿态；对于非刚性对象使用已有算法定义过的关节点衡量对象的姿态，我们可以使用已知的标注信息进行监督。

4.根据权利要求3所述的直接针对单视角深度图的实时形状补全和姿态估计方法，其特征在于，本步骤通过计算预测值与真实值的点对点L2距离进行监督，即：

其中B_rec为预测的SPL，B*_rec为监督的真值。

5.根据权利要求1所述的直接针对单视角深度图的实时形状补全和姿态估计方法，其特征在于，步骤4的第二分支网络采用PointNet++提出的分层结构，使用卷积提取不同层次，包含全局信息和局部信息，并进行融合，将上述不同层级的隐空间编码进行通道合并，得到一个隐空间的编码。

6.根据权利要求1-5中任意一项所述的直接针对单视角深度图的实时形状补全和姿态估计方法，其特征在于，步骤4的两个分支网络在最开始的特征提取层共享卷积结果。

7.根据权利要求1所述的直接针对单视角深度图的实时形状补全和姿态估计方法，其特征在于，步骤5的网络对点列重新卷积编码到高维空间，学习过程为无监督过程。

8.根据权利要求1所述的直接针对单视角深度图的实时形状补全和姿态估计方法，其特征在于，所述步骤7由已知对象数据集进行监督学习。

9.根据权利要求8所述的直接针对单视角深度图的实时形状补全和姿态估计方法，其特征在于，步骤7中对解码后的完整对象点云进行监督学习时，我们选择倒角距离监督预测值与真实点云之间的分布距离，其表达式为：

同时引入了排斥损失，该损失定义在预测点云自身上，表达式为：

其中K(i)是第i个点的所有K近邻点，w为衰减因子，正比于近邻点到该点的距离，η为系数；

最终，整个网络的损失定义为：

L(Θ)＝L_rec+αL_rep+βL₂(B₁，B₂)+γ||Θ||²。

10.根据权利要求1所述的直接针对单视角深度图的实时形状补全和姿态估计方法，其特征在于，所述步骤7中，采用迭代误差反馈的方法对参数进行回归，能够根据当前的估计逐步进行调整。