[发明专利]一种基于GCN与拓扑修改的单图像三维重建方法

权利要求书

1.一种基于GCN与拓扑修改的单图像三维重建方法，其特征在于，包括如下步骤：

步骤1：采用VGG-16编码网络提取图像的特征，得到该图像对应的图像特征向量，并提取VGG-16编码网络第7,10,13层提取的特征图V7，V10，V13；

步骤2：预设初始球体网格；基于步骤1中的V7，V10，V13为初始球体网格的每个顶点赋予图像感知特征，得到附带图像感知特征的球体网格；

步骤3：将步骤2中附带图像感知特征的球体网格输入至网格形变网络中，所述网格形变网络变更球体网格的顶点位置；得到图像中需要重建的物体的初始三维模型；

步骤4：将步骤3中的初始三维模型输入至拓扑修改网络中，该拓扑修改网络对初始三维模型的表面进行修剪，从而更新初始三维模型的网格拓扑结构；得到最终三维网格模型。

2.根据权利要求1所述的一种基于GCN与拓扑修改的单图像三维重建方法，其特征在于，所述步骤2为初始球体网格的每个顶点赋予图像感知特征的方法具体为：计算初始球体网格中顶点p在图像中的投影点，其中p为该网格中任一顶点；利用双线性差值法寻找出该投影点在特征图V7，V10和V13中的对应点V_p,7，V_p,10以及V_p,13，并将V_p,7周围的像素点的特征进行融合,将融合后的特征作为点V_p,7的特征，将V_p,10周围的像素点的特征进行融合,将融合后的特征作为点V_p,10的特征，将V_p,13周围的像素点的特征进行融合,将融合后的特征作为点V_p,13的特征；将点V_p,7,V_p,10以及V_p,13的特征进行拼接，得到顶点p的图像感知特征；对初始球体网格中所有的顶点按照该方法计算得到附带图像感知特征的球体网格。

3.根据权利要求1所述的一种基于GCN与拓扑修改的单图像三维重建方法，其特征在于，所述步骤3中网格形变网络采用图残差网络G-ResNet；在图残差网络G-ResNet中输入附带图像感知特征的球体网格的特征向量，所述特征向量包括图像感知特征、网格顶点坐标和顶点形状特征；G-ResNet输出变更后的顶点的特征向量；所述G-ResNet中每一层的卷积运算如下所示：

是顶点p在卷积操作后的特征向量；l表示图残差网络G-ResNet中第l层图卷积层；w₀和w₁是图残差网络G-ResNet应用于所有顶点的学习参数矩阵，w₀用于调整当前顶点p，w₁用于调整当前顶点p的相邻顶点q；是顶点p在进行卷积操作前的特征向量；N(p)是与顶点p相邻的顶点的集合；为附加在顶点q上的特征向量。

4.根据权利要求1所述的一种基于GCN与拓扑修改的单图像三维重建方法，其特征在于，所述步骤4中具体为：所述拓扑修改网包括多层感知器MLP，所述拓扑修改网络对初始三维模型的所有三角形表面进行采样点的随机采样；将采样点的坐标组成坐标矩阵；将该坐标矩阵融合VGG-16编码网络输出的图像特征向量，构成特征矩阵；将特征矩阵输入至多层感知器MLP中，所述多层感知器MLP包括依次连接的第一全连接层，第一非线性激活函数ReLu，第二全连接层，第二非线性激活函数ReLu，第三全连接层，第三非线性激活函数ReLu，第四全连接层和第四非线性激活函数tanh；多层感知器MLP输出每个采样点与该采样点对应的地面真实网格顶点之间的距离误差，并计算每个三角形表面上所有采样点误差值的均值，将该均值作为对应三角形表面的误差值；拓扑修改网络中预设有误差阈值τ，拓扑修改网络删除误差值大于等于τ的三角形表面，从而更新网格拓扑结构。

5.根据权利要1所述的一种基于GCN与拓扑修改的单图像三维重建方法，其特征在于，对网格形变网络和拓扑修改网络进行训练均采用三维监督方法；网格形变网络和拓扑修改网络的损失函数的表达式相同如下所示：

其中，代表总损失，为倒角损失，为搬土损失，为拉普拉斯正则化，为边长正则化，为边界正则化；λ₁、λ₂、λ₃和λ₄均为预设的权重参数；当对网格形变网络训练时，λ₂＞λ₄且λ₃＞λ₄；当对拓扑修改网络训练时，λ₄＞λ₂且λ₄＞λ₃。