[发明专利]一种基于深度学习的三维点云重建方法

说明书

本发明公开了一种基于深度学习的三维点云重建方法，包括：点云预测器根据输入的潜在特征表示，预测出三维点云的坐标信息；每个分支以对应特征编码器输出的潜在特征表示作为输入，学习结合了其他分支信息的互补特征；通过应用跨视图交互单元，每个稀疏点云重建子网捕获跨视图的互补信息，反馈给点云预测器生成稀疏点云；构建由多个点云特征提取子网、全局引导的特征学习子网和生成层组成的全局引导的稠密点云重建模块，每个点云特征提取子网由一系列共享权重的多层感知机组成，所述多层感知机从生成的稀疏点云中提取点云特征；采取倒角距离损失作为几何一致性约束，并构建了语义一致性约束来优化稠密点云的生成。

技术领域

本发明涉及三维点云重建领域，尤其涉及一种基于深度学习的三维点云重建方法。

背景技术

作为计算机视觉领域的热点研究任务之一，三维模型重建的目标旨在通过给定的二维图像的信息生成包含在二维图像中物体的真实三维模型。三维模型有多种表示方式，包括：体素、网格和三维点云。三维点云作为三维模型的典型代表，已被应用于自动驾驶、虚拟现实等诸多领域。因此，三维点云重建任务引起了研究人员的广泛关注。此外，生成的点云模型的质量会显著影响后续任务的性能，如三维模型检索、分类和分割等。然而，由于点云数据分布不规则、排列无序的特点，生成的点云模型通常不够稠密，难以覆盖更多有效的位置信息和形状细节。因此，生成分辨率更高、细节更丰富的点云模型是一项具有挑战性的任务。

三维模型重建包括：单视图三维模型重建和多视图三维模型重建。近年来，由于深度学习强大的学习能力，许多单视图三维模型重建方法被提出。单视图三维模型重建方法仅根据输入的单幅二维图像重建出合理的三维模型。从给定的图像推断三维模型需要结合低层次的图像位置信息、高层次的图像语义信息和图像各个组成部分的结构排列信息等，推理过程十分复杂。由于单视图包含的视觉信息有限，从单视图中预测三维模型更加困难，因此基于单视图的三维模型重建方法往往会产生粗糙的三维模型。

与单视图重建方法不同，多视图三维模型重建方法以从同一物体不同角度和位置捕获的多幅二维图像为输入来预测三维模型。多幅图像可以提供更全面的三维物体的形状和位置信息，促使生成网络更精确地建立二维图像和三维模型之间的映射关系。受此启发，近年来提出了许多基于多视图的三维模型重建方法，以提高重建的三维模型的质量。Eigen等人提出基于深度卷积架构生成深度图，然后对深度图经过复杂的处理以转换成三维模型。Choy等人提出了一种端到端的三维模型重建网络3D-R2N2，该网络利用卷积神经网络从输入的二维图像直接生成三维模型。由于图卷积网络能够更好地提取拓扑图的空间信息，Wen等人提出了一种基于图卷积的变形网络来生成三维模型。

虽然现有的基于深度学习的三维模型重建方法可以从有限数量的输入视图中预测出较合理的三维形状，但这些方法通常都直接生成相对稀疏且粗糙的三维点云。因此，利用深度学习的优势，探索生成更加稠密、细节更丰富的三维点云重建方法具有重要的研究意义。

发明内容

为了生成分辨率更高，细节更丰富的高质量三维模型，并充分挖掘不同视图之间的互补信息，本发明提出了一种基于深度学习的三维点云重建方法，利用从稀疏到稠密的分阶段学习策略从多视图输入中重建稠密且精细的三维点云，以提升三维点云重建任务的性能，详见下文描述：

一种基于深度学习的三维点云重建方法，所述方法包括：

学习每个输入图像的视觉信息，通过特征编码器，每个输入图像被编码为潜在特征表示，点云预测器根据输入的潜在特征表示，预测出三维点云的坐标信息；

每个分支以对应特征编码器输出的潜在特征表示作为输入，学习结合了其他分支信息的互补特征；通过应用跨视图交互单元，每个稀疏点云重建子网捕获跨视图的互补信息，反馈给点云预测器生成稀疏点云；

构建由多个点云特征提取子网、全局引导的特征学习子网和生成层组成的全局引导的稠密点云重建模块，每个点云特征提取子网由一系列共享权重的多层感知机组成，所述多层感知机从生成的稀疏点云中提取点云特征；