[发明专利]一种基于隐空间拓扑结构约束的残缺点云补全方法

权利要求书

1.一种基于隐空间拓扑结构约束的残缺点云补全方法，其特征在于，按以下步骤进行处理：

S1、通过便携式深度相机拍摄目标对象的单视角深度图像，并根据已知的相机内参数将单视角深度图转换为三维空间坐标，并进行位置规范化预处理，得到原始残缺点云数据；

S2、对系统输入的原始残缺点云进行位姿估计，并根据所预测位姿进行点云姿态规范化，得到姿态规范化残缺点云；

S3、基于姿态规范化残缺点云预测其对应的完整关键点骨架；

S4、基于预测的完整关键点骨架，使用上采样网络恢复其对应的稠密完整点云，即完整三维点云；

S5、基于完整三维点云进行机器人感知任务优化。

2.根据权利要求1所述的一种基于隐空间拓扑结构约束的残缺点云补全方法，其特征在于，步骤S1具体为：

S1.1、使用Kinect二代深度相机拍摄目标对象的深度图片，利用图像分割获取对象实际对应的深度图像区域，并根据相机内参数与针孔相机模型将对象的深度图像转换为原始残缺点云数据；

S1.2、针对步骤S1.1获取的原始残缺点云数据，将根据当前的坐标范围通过平移和缩放将其变换到到半径为1的单位球体中，实现位置规范化。

3.根据权利要求1所述的一种基于隐空间拓扑结构约束的残缺点云补全方法，其特征在于，步骤S2具体为：

S2.1、构建相对位姿特征向量，该位姿向量由旋转轴角、偏移量和缩放因子联合构成，根据罗德里格斯公式可根据位姿向量对点云进行为三维仿射变换，变换计算过程如下：

R＝I+sinθ*K+(1-cosθ)*K²

P′＝R*(s*P)+t

其中R为根据罗德里格斯公式计算得到的旋转矩阵，(k_x,k_y,k_z)是单位转轴向量，K是由转轴向量构建的矩阵，θ为旋转角度；P为输入的非对齐点云，P’为经过变换后的对齐点云，s和t为缩放因子和偏移量；

S2.2、基于步骤S2.1构建的相对位姿特征向量，借助虚拟三维形状数据集ShapeNet构建训练数据集，对所有点云数据施加已知的位姿变换向量，形成点云-位姿向量数据对用于训练；

S2.3、构建位姿预测网络，主要由多层感知器A与全连接网络B组成，并利用步骤S2.2构建的数据集进行网络训练和测试，获取最优的网络训练模型；

S2.4、将原始残缺点云输入训练好的网络模型预测位姿，并根据步骤S2.1将位姿转换为三维仿射变换矩阵进一步施加于点云上，将其变换至归一化形状空间。

4.根据权利要求1所述的一种基于隐空间拓扑结构约束的残缺点云补全方法，其特征在于，步骤S3具体为：

S3.1、利用已有完整点云数据训练关键点提取网络，即实现由稠密完整三维点云到稀疏关键点骨架的映射，Chamfer距离作为深度神经网络的损失函数来监督该训练过程，该指标衡量了两个无序点集之间的相似程度，具体计算方法如下：

其中，P1是输入完整稠密点云，P2是预测得到的关键点骨架点云；

S3.2、构建残缺点云关键点补全网络，该网络主要由多层感知器C和全连接层网络D构成，将残缺三维点云输入网络，估计其对应潜在关键点骨架的点云坐标，其训练方法与步骤S3.1类似，使用预测关键点和真值关键点间的Chamfer距离作为网络训练约束。

5.根据权利要求1所述的一种基于隐空间拓扑结构约束的残缺点云补全方法，其特征在于，步骤S4具体为：

S4.1、在S3.1构建的关键点提取网络后增加关键点上采样网络，将提取得到的关键点骨架进一步恢复得到其对应的稠密完整点云，该训练过程将预测点云与真值稠密点云之间的Chamfer距离作为训练约束；

S4.2、基于步骤S4.1预训练好的上采样网络，将残缺点云预测到的关键点骨架进行上采样，恢复出其对应的潜在完整稠密点云；

S4.3、为保证输入残缺点云中的细节结构信息不会在网络学习过程中丢失，最后采用最远点采样技术将输入的残缺点云和预测的完整点云进行混合采样，最终得到残缺点云的补全结果。