[发明专利]一种基于深度学习的三维点云重建方法

权利要求书

1.一种基于深度学习的三维点云重建方法，其特征在于，所述方法包括：

学习每个输入图像的视觉信息，通过特征编码器，每个输入图像被编码为潜在特征表示，点云预测器根据输入的潜在特征表示，预测出三维点云的坐标信息；

每个分支以对应特征编码器输出的潜在特征表示作为输入，学习结合了其他分支信息的互补特征；通过应用跨视图交互单元，每个稀疏点云重建子网捕获跨视图的互补信息，反馈给点云预测器生成一个相对完整的稀疏点云S_i∈R^N×3，其中N表示稀疏点云中点的数量；

构建由多个点云特征提取子网、全局引导的特征学习子网和生成层组成的全局引导的稠密点云重建模块，每个点云特征提取子网由一系列共享权重的多层感知机组成，所述多层感知机从生成的稀疏点云中提取点云特征；

采取倒角距离损失作为几何一致性约束，并构建了语义一致性约束来优化稠密点云的生成；

其中，所述每个分支以对应特征编码器输出的潜在特征表示作为输入，学习结合了其他分支信息的互补特征具体为：

特征编码器输出的潜在特征表示f_i被送入级联层，而其他分支的输入先经过卷积核大小为3×3的卷积层进行自适应学习，再送入到同一个级联层；通过级联操作，将不同分支学习到的特征沿着通道维进行连接，然后，将交互后的特征输入到卷积核大小为3×3的卷积层中，得到最终的跨视图互补特征

c_i＝Conv([Conv(f₁),…,Conv(f_i-1),f_i,Conv(f_i+1),…,Conv(f_V))]

其中，Conv(·)表示卷积操作，[，]表示级联操作。

2.根据权利要求1所述的一种基于深度学习的三维点云重建方法，其特征在于，所述方法包括：

基于全局引导特征，在每个点云特征提取子网中应用全局引导机制，利用图像引导信息引导点云特征提取过程；

全局引导机制通过多个引导块的执行将M级全局引导特征引入到每个点云特征提取子网中，每个引导块由一个连接层和一个SMLP组成；

第m个制导块的输出为提取的第m级点云特征其中K_m表示特征的通道维数；表示为：

其中，当m＝1时

基于获得的第M级点云特征使用一个级联和一组多层感知机层对进行稠密点云D∈R^(V×N)×3的重建：

其中，MLPs(·)表示多层感知机层，用于将融合后的点云特征投影到三维空间，S_V表示第V个输入视图重建出的稀疏点云。

3.根据权利要求1所述的一种基于深度学习的三维点云重建方法，其特征在于，所述方法采用余弦一致性函数构建语义一致性约束。