[发明专利]一种基于GCN与拓扑修改的单图像三维重建方法

说明书

本发明提供一种基于GCN与拓扑修改的单图像三维重建方法，该方法具体包括如下步骤：输入图像至VGG‑16编码网络，提取特定层的特征图与图像特征向量；预设初始球体网格；根据VGG‑16编码网络提取的特定层的特征图，为初始球体每个顶点赋予图像感知特征，得到附带图像感知特征的球体网格；将该球体网格输入网格形变网络中，变更网格顶点位置，并得到初始三维模型；拓扑修改网络对初始三维模型表面进行修剪，从而更新网格拓扑结构；得到最终三维网格模型；本发明提高重建模型的质量，同时减小变形计算。

技术领域

本发明属于计算机视觉领域。

背景技术

得益于深度学习技术的最新进展，以及ShapeNet、Pix3D等大规模三维形状数据集的发布，从单个图像中重建常规物体的三维网格逐渐成为可能。基于图像进行三维重建是根据单视图或多视图恢复三维信息的过程，其目的是得到与二维图像匹配的三维模型。

在现有的基于深度学习的网格三维重建算法中，Pixel2Mesh是一个由粗到细的网络架构，通过图解池层添加网格顶点，细化网格表面细节；Image2Mesh根据图像特征，组合一个粗糙的拓扑图结构，再根据估计的形变使用网格自由变形FFD来恢复稠密的3D网格模型；TMNet提出了一种拓扑修改网络，其特色在于能够多阶段地修剪网格的拓扑结构。上述方法能够较好地重建图像中物体的表面细节，但也存在一定局限：由于初始网格顶点间有固定的连接关系，当前大多数方法仅在重建近似预定义模板的物体时表现良好，在重建复杂拓扑时会产生不必要的网格自交和连接，从而破坏表面细节；并且受预定义模板限制，无法灵活更新点与面的关系；打破原有的拓扑结构则容易生成锯齿边界和不光滑表面，破坏重建的视觉效果。

发明内容

发明目的：为了解决上述现有技术存在的问题，本发明提出一种基于GCN与拓扑修改的单图像三维重建方法：利用VGG16提取的图像特征，形变过程由图卷积神经网络(GCN)和二维图像特征控制，并在形变过程中穿插拓扑修改模块修剪三维网格结构，使得网格拓扑多样化，最后通过三维监督和正则化方法优化生成的三维表面细节。

技术方案：本发明提供了一种基于GCN与拓扑修改的单图像三维重建方法，包括如下步骤：

步骤1：采用VGG-16编码网络提取图像的特征，得到该图像对应的图像特征向量，并提取VGG-16编码网络第7,10,13层提取的特征图V7，V10，V13；

步骤2：预设初始球体网格；基于步骤1中的V7，V10，V13为初始球体网格的每个顶点赋予图像感知特征，得到附带图像感知特征的球体网格；

步骤3：将步骤2中附带图像感知特征的球体网格输入至网格形变网络中，所述网格形变网络变更球体网格的顶点位置；得到图像中需要重建的物体的初始三维模型；

步骤4：将步骤3中的初始三维模型输入至拓扑修改网络中，该拓扑修改网络对初始三维模型的表面进行修剪，从而更新初始三维模型的网格拓扑结构；得到最终三维网格模型。

进一步的，所述步骤2为初始球体网格的每个顶点赋予图像感知特征的方法具体为：计算初始球体网格中顶点p在图像中的投影点，其中p为该网格中任一顶点；利用双线性差值法寻找出该投影点在特征图V7，V10和V13中的对应点V_p,7，V_p,10以及V_p,13，并将V_p,7周围的像素点的特征进行融合,将融合后的特征作为点V_p,7的特征，将V_p,10周围的像素点的特征进行融合,将融合后的特征作为点V_p,10的特征，将V_p,13周围的像素点的特征进行融合,将融合后的特征作为点V_p,13的特征；将点V_p,7,V_p,10以及V_p,13的特征进行拼接，得到顶点p的图像感知特征；对初始球体网格中所有的顶点按照该方法计算得到附带图像感知特征的球体网格。