[发明专利]一种单图像三维点云模型重建方法

说明书

本发明涉及一种单图像三维点云模型重建方法，首先预训练一个点云自编码器网络，得到一个点云特征向量；构建图像编码网络学习输入图像特征，编码成固定长度的图像特征向量，随后利用解码器网络将向量解码成点云表达形式；通过最小化两个特征向量的差异，使得输入图像特征分布逼近点云特征分布，从而可以重建出相似的真实点云模型，解决三维重建中的不确定性问题。此外，利用可微投影模块将初始重建点云从不同视角投影到二维平面，获取二值化投影图，通过最小化初始点云投影图与真实投影图的差异，优化初始重建点云，从而得到具有细节结构的点云模型。

技术领域

本发明涉及计算机视觉和计算机图形学领域，特别是涉及一种基于单幅二维图像的三维重建方法。

背景技术

在现实世界中，相比于文本，图像等海量且易于获取的媒体数据，三维模型更能展现出物体的立体视觉感和细节质感，是一种更符合人类视觉系统的数据表达，此外，随着硬件扫描设备和专业建模软件的发展，三维数据日益丰富，以及计算机存储空间，计算能力的快速发展，三维模型被广泛地应用在工业设计、城市规划、影视教育等领域。但硬件扫描设备以及专业建模软件如3DS Max、MAYA等建模软件价格昂贵，使用门槛高，对广大爱好者不够友好，因此，研究便捷有效的三维模型重建方法是计算机图形学和计算机视觉领域的重要方向和热门话题。

由于图像可以低成本高效获取，三维模型的重建在学习现有二维图像数据特点的基础上，求解深度模型参数，目前主要依靠多张图像进行三维重建，并且通常是优化重建模型与真实模型的差距。由于图像的重复，纹理，反射等有不太确定性，因此需要设定一系列强假设约束，此外，三维数据集相对较难获取，因此基于多张图像的三维重建一定程度上受到限制。对单图像重建而言，利用深度网络强大的特征提取能力，对输入单幅图像进行分析和推理，结合先验知识，逼近其对应三维模型特征分布，实现生成符合语义约束的三维模型，可以很大程度上减轻对大规模3D数据集的需求，同时降低三维建模的难度，使普通爱好者用户也能获取所需三维模型。

根据实际场景应用的不同需求，目前主要有点云、网格和体素这三种表达方式。体素表示的方法是将空间分为多个小立方体，可以视为二维到三维的直接推广，但较于二维图像，由于计算和内存的限制，分辨率主要为32³、64³这类低分辨率上。针对这一问题，一些基于空间划分技术如八叉树的卷积神经网络被提出，将三维空间分割成一组不平衡八叉树，充分利用三维数据的稀疏性来分割三维空间。基于网格表示的方法使用图卷积网络提取特征，通过模板不断变形拟合新的模型，但是受限于给定初始网格拓扑关系不能生成一个具有各种拓扑的对象，且图像和网格之间的转换离散操作会阻碍反向传播，导致基于深度学习重建网格表示的三维模型面临不小的挑战。基于点云表示的方法使用离散点来描述物体表面信息的空间，由于不用考虑模型内部空间以及点之间的连接关系，且点云数据具有无序性和置换不变性等特点，可以方便地进行几何变换，计算量小，适合大场景以及高分辨模型的表达，因此广泛应用于自动驾驶，虚拟现实等领域。

发明内容

本发明主要解决的技术问题：针对目前基于图像重建主要依靠三维点云作为监督的方法，提供一种基于先验知识的三维点云模型重建方法，通过预训练三维点云模型的方法获取点云先验知识，不仅减少了重建过程中不确定点云的生成，而且结合多个二维投影图监督的方法，使重建的点云具有与输入一致的外观轮廓细节，本发明降低了对真实三维模型监督的依赖性，提高三维模型重建精度，使得三维模型重建更具有广泛性。

为解决上述技术问题，本发明采用的一个技术方案是：对物体的单张RGB图像进行处理，通过构建三维重建网络以及投影框架，联合点云先验知识特征分布约束，可得到与输入图像一致的具有精确细节的三维点云模型，缓解了现实中三维监督方法中三维数据的不足，其具体包括以下步骤：

(1)训练一个三维点云自编码器网络，使用深度卷积变分编码器学习输入点云的特征，将输入三维点云编码成一个固定长度的点云特征向量，然后解码成三维点云模型，通过最小化真实点云与重建点云距离，得到网络优化训练后表达三维点云特征分布的特征向量，获取三维点云数据先验知识；