[发明专利]基于RealPoin3D的单幅图像三维重建方法

说明书

一种基于RealPoin3D的单幅图像三维重建方法，获取图像数据集，数据集内的数据为若干单幅图像及其三维点云；根据相似性，在数据集内搜索与待重建单幅图像相似的图像，并得到相应的三维点云；将待重建单幅图像输入到2D编码器，提取其二维特征；将相应的三维点云输入到3D编码器，提取其三维特征；通过一个加入注意力机制的2D‑3D融合模块，融合所述二维特征和所述三维特征，得到包括图像特征和空间特征的融合特征；将所述融合特征输入到解码器，使用卷积层和反卷积层预测单幅图像的3D点云，实现其三维重建。本发明进一步提高了图像的三维重建效果，并提高了其重建速度。

技术领域

本发明属于计算机视觉技术领域，涉及单幅图像的三维重建，特别涉及一种基于RealPoin3D的单幅图像三维重建方法。

背景技术

基于图像的三维重建是计算机视觉、虚拟现实、医学图像处理中一个很常见的问题，且是计算机视觉领域的重要研究方向，与人工手动建模与三维扫描设备建模相比，基于二维图像的三维重建拥有耗时低、成本低的优势。同时，与它相关的研究对于无人驾驶、目标识别、工业控制和医疗诊断等许多相关领域的发展具有重要的推动作用。其中基于单幅图像的三维重建，相比于基于多幅图像的三维重建，单幅图像可获取的信息量受到的限制较多，但是它更便捷、快速、易于实现，因此具有更广阔的前景，且设计一种有效、稳定、高质量的单幅图像三维重建方法，已成为研究者们共同的研究目标。

近年来，随着卷积神经网络的广泛应用，图像重建技术与方法从传统的数理几何计算发展到了应用深度学习。基于深度学习的单幅图像三维重建是利用计算机搭建神经网络，通过大量的图像数据与三维模型数据进行训练，学习单图像至三维模型的映射关系，从而实现对新的图像目标进行三维重建，使用深度学习方法进行图像的三维重建，可以仅基于单幅图像进行重建，并预测图像中不可见部分的空间结构，拥有更高的重建精度。同时，网络工作过程为端到端，降低了工程复杂度。

近几年深度学习方面提出了Pix2Vox网络，该网络结构基于编码结构搭建，可完成多类别目标的单图像与多图像重建任务，所设计的感知模块可以自适应地对重建对象的不同视角进行权重分配，更好地融合不同视角的重建结果。RealPoint3D网络结合检索模型方法，将三维数据与二维数据联合输入取得了较好的重建效果，但其使用了聚类检索算法，使得网络训练时间较长。目前的点云生成方法有一些局限性，主要是固定视角和特定距离，导致模型在不同视图下的性能较差、失真和细节丢失。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种基于RealPoin3D的单幅图像三维重建方法，以期进一步提高图像的三维重建效果，并提高其重建速度。

为了实现上述目的，本发明采用的技术方案是：

一种基于RealPoin3D的单幅图像三维重建方法，包括如下步骤：

步骤1，获取图像数据集，数据集内的数据为若干单幅图像及其三维点云；根据相似性，在数据集内搜索与待重建单幅图像相似的图像，并得到相应的三维点云；

步骤2，将待重建单幅图像输入到2D编码器，提取其二维特征；

步骤3，将相应的三维点云输入到3D编码器，提取其三维特征；

步骤4，通过一个加入注意力机制的2D-3D融合模块，融合所述二维特征和所述三维特征，得到包括图像特征和空间特征的融合特征；

步骤5，将所述融合特征输入到解码器，使用卷积层和反卷积层预测单幅图像的3D点云，实现其三维重建。

与现有技术相比，本发明的有益效果是：