[发明专利]三维重建方法、系统、机器设备和计算机可读存储介质

说明书

本发明揭示了一种三维重建方法、系统、机器设备和存储介质。所述方法包括：对给定图片在深度网络通过网络各层所进行的特征抽取中，通过所集成合并层进行的前馈网络信息向反馈网络映射执行卷积层的特征抽取，获得二维特征；对二维特征执行稀疏成本控制，并变换二维特征为三维特征，得到三维特征所对应的成本量信息；通过成本量信息的映射提取上下文信息，生成初始深度图；进行初始深度图的传播和优化输出高精度深度图；对高精度深度图生成三维点云，由三维点云构建生成给定图片的三维模型，在此三维重建的实现中，降低了内存消耗，并在稀疏成本控制和成本量信息的映射下，减少计算量而保证了三维重建效果，且能够满足三维重建对速度的要求。

技术领域

本发明涉及计算机视觉应用技术领域，特别涉及一种三维重建方法、系统、机器设备和计算机可读存储介质。

背景技术

三维重建技术一直是计算机视觉研究的重要领域。三维重建用于对三维物体建立可以让计算机处理的三维数字模型。三维重建的实现主要包括几何模型建模以及利用三维扫描仪进行三维重建两种方式。其中，通过几何模型建模方式进行三维重建，该技术发展最为成熟，通过几何模型建模方式可以精确地进行三维重建，但是存在着三维重建过程复杂、周期长等问题，并且对复杂物体或人模型而言，重建效果不佳。

其次，利用三维扫描仪进行三维重建这一方式，是使用结构光、深度相机以及激光扫描仪等设备，生成三维模型。但是这些设备昂贵，且使用条件苛刻，无法在设施简陋的条件下使用。

几何模型建模对于三维重建的实现过程存在着高度复杂性，而三维扫描仪依赖于昂贵的设备且使用环境苛刻，对于三维重建的实现而言亦存在着高度复杂性，这将导致三维重建技术的性能受限，也无法满足实时性的要求。

发明内容

为了解决相关技术中无法控制三维重建的高度复杂性和时间长度的技术问题，本发明提供一种三维重建方法、系统、机器设备和计算机可读存储介质。

一种三维重建方法，所述方法包括：

对给定图片在深度网络通过网络各层所进行的特征抽取中，通过所集成合并层进行的前馈网络信息向反馈网络映射执行卷积层的特征抽取，获得所述给定图片的二维特征；

对所述二维特征执行稀疏成本控制，并变换所述二维特征为三维特征，得到三维特征所对应的成本量信息；

通过所述三维特征所对应成本量信息的映射提取上下文信息，生成对所述给定图片预测的初始深度图；

进行所述初始深度图的传播和优化，输出高精度深度图；

对所述高精度深度图生成三维点云，由所述三维点云构建生成所述给定图片的三维模型。

在一个示例性实施例中，所述合并层和卷积层的组合构成所述深度网络中执行特征抽取的网络层，所述对给定图片在深度网络通过网络各层所进行的特征抽取中，通过所集成合并层进行的前馈网络信息向反馈网络映射执行卷积层的特征抽取，获得所述给定图片的二维特征，包括：

在所述深度网络中网络各层的特征抽取中，对合并层中前馈网络向反馈网络的反向传播，将前馈网络所存储信息翻转正向传播计算，恢复所述反向传播所需信息；

将卷积层对给定图片抽取的卷积特征输入到恢复反向传播所需信息的反馈网络，在所述反馈网络输出所述卷积层对应的二维特征。

在一个示例性实施例中，所述在所述深度网络中网络各层的特征抽取中，对合并层中前馈网络向反馈网络的反向传播，将前馈网络所存储信息翻转正向传播计算，恢复所述反向传播所需信息，包括：

面向所述给定图片在所述深度网络的特征抽取，通过合并层中的前馈网络进行正向传播后输入至卷积层，所述卷积层执行特征抽取；

对正向传播过程计算所得到并经前馈网络存储的信息，进行所述正向传播的翻转计算，通过所述翻转计算恢复得到所述反向传播所需信息。