[发明专利]基于RealPoin3D的单幅图像三维重建方法

权利要求书

1.一种基于RealPoin3D的单幅图像三维重建方法，其特征在于，包括如下步骤：

步骤1，获取图像数据集，数据集内的数据为若干单幅图像及其三维点云；根据相似性，在数据集内搜索与待重建单幅图像相似的图像，并得到相应的三维点云；

步骤2，将待重建单幅图像输入到2D编码器，提取其二维特征；

步骤3，将相应的三维点云输入到3D编码器，提取其三维特征；

步骤4，通过一个加入注意力机制的2D-3D融合模块，融合所述二维特征和所述三维特征，得到包括图像特征和空间特征的融合特征；

步骤5，将所述融合特征输入到解码器，使用卷积层和反卷积层预测单幅图像的3D点云，实现其三维重建。

2.根据权利要求1所述基于RealPoin3D的单幅图像三维重建方法，其特征在于，所述步骤1，相似性由余弦距离定义，并由预训练VGG网络获得的特征图测量。

3.根据权利要求1所述基于RealPoin3D的单幅图像三维重建方法，其特征在于，所述2D编码器使用卷积神经网络(CNN)提取二维特征，其由卷积层和ReLU层组成，卷积核的大小为3×3，作为输入的单幅图像被拉伸为1024维向量。

4.根据权利要求1所述基于RealPoin3D的单幅图像三维重建方法，其特征在于，所述3D编码器为由四个集合抽象层组成的PointNet++层，每个集合抽象层依次包括采样层、分组层和PointNet层；所述分组层使用多尺度分组策略获得点云的全局特征潜在空间，最终得到2048维全局点云特征。

5.根据权利要求1所述基于RealPoin3D的单幅图像三维重建方法，其特征在于，所述2D-3D融合模块由三个全连接层组成，以学习融合二维特征和所述三维特征的相对权重，将获得的融合特征重塑为16×16×8大小，与图像大小相同。

6.根据权利要求5所述基于RealPoin3D的单幅图像三维重建方法，其特征在于，所述2D-3D融合模块中，第一个全连接层有两个神经元，所述二维特征和三维特征输入到第一个全连接层，通过softmax激活函数输出两个特征的权重，再与原来的所述二维特征和三维特征进行相乘，然后经过两个2048个神经元的全连接层。

7.根据权利要求1所述基于RealPoin3D的单幅图像三维重建方法，其特征在于，所述解码器由卷积层、反卷积层和完全连接层组成，其中卷积层和反卷积层核大小设置为5×5，最后一层是完全连接层，所述3D编码器中的第三个抽象层所得到的三维空间特征与解码器中的倒数第二层全连接得到的特征信息求内积，通过解码器的最后一层全连接层，将求得的内积重整为N×3的大小。

8.根据权利要求1所述基于RealPoin3D的单幅图像三维重建方法，其特征在于，将所述2D编码器中的中浅尺度特征图输入到扩展层中，并拼接到所述解码器的注意力机制通道中，以增加通道数而不改变特征图尺寸；为所拼接的不同尺度特征通道分配权重，以抑制低效特征通道，增强高效特征通道。

9.根据权利要求7所述基于RealPoin3D的单幅图像三维重建方法，其特征在于，所述扩展层由依次的两个3×3大小的卷积层、一个3×3的池化层以及一个1×1的卷积层组成，所述扩展层有两个，所述中浅尺度特征图中，中尺度特征图输入到扩展层1，小尺度特征图输入到扩展层2。

10.根据权利要求7所述基于RealPoin3D的单幅图像三维重建方法，其特征在于，通过注意力模块计算特征之间的相互影响程度得到注意力权重矩阵，通过将注意力权重与原特征向量相乘，为所拼接的不同尺度特征通道分配权重。