[发明专利]重建三维模型的方法及装置和三维模型采集及重建系统

说明书

本发明公开了一种重建三维模型的方法及装置和三维模型采集及重建系统，所述重建三维模型的方法，包括：获取目标物体的三维彩色点云数据；根据所述三维彩色点云数据生成第一分辨率下的三维体素数据；将所述第一分辨率下的三维体素数据输入超分辨率神经网络模型以生成第二分辨率下的三维体素数据，其中，所述第一分辨率小于所述第二分辨率；根据所述第二分辨率下的三维体素数据获得所述目标物体的三维模型。该方法可以在不提高GPU计算力的情况下，提高三维模型的分辨率。

技术领域

本发明涉及三维技术领域，尤其是涉及一种重建三维模型的方法、一种重建三维模型的装置以及计算机存储介质和一种三维模型采集及重建系统。

背景技术

数字物体例如人体三维采集重建是虚拟现实领域重要的研究问题，随着技术的发展，通过低成本采集设备实现人体的动态采集成为非常有前景的应用。但是，由于动态物体本身动态速率比较快，运动情况复杂，表面情况多变等因素，目前没有很好的方法对其进行跟踪建模。同时，对动态物体建模的精度取决于采样精度和计算机实时处理能力，现有的硬件条件下也十分受限。

相关技术中，通过采用Dynamic Fusion(动态融合)对动态物体进行建模，但是该方法由于速度的限制，最终获得的模型的分辨率不高。这个速度限制主要来源于在方法计算过程中所使用的体素建模方法，体素建模是计算机图形学中常用的一种方法，模型最终的精度、分辨率取决于体素模型采用的立方体数量多少，而计算机能够实时处理立方体的数量取决于GPU(Graphics Processing Unit，图形处理器)的计算能力。例如，对于DynamicFusion算法，在采用1080Ti GPU的情况下，只能实时处理256³数量的体素模型，而这个分辨率在高精度应用上是十分受限的。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明的一个目的在于提出一种重建三维模型的方法，该方法可以在不提高GPU计算力的情况下，提高三维模型的分辨率。

本发明的目的之二在于提出一种重建三维模型的装置。

本发明的目的之三在于提出一种计算机存储介质。

本发明的目的之四在于提出一种三维模型采集及重建系统。

为了解决上述问题，本发明第一方面实施例提供的重建三维模型的方法，包括：获取目标物体的三维彩色点云数据；根据所述三维彩色点云数据生成第一分辨率下的三维体素数据；将所述第一分辨率下的三维体素数据输入超分辨率神经网络模型以生成第二分辨率下的三维体素数据，其中，所述第一分辨率小于所述第二分辨率；根据所述第二分辨率下的三维体素数据获得所述目标物体的三维模型。

根据本发明实施例的重建三维模型的方法，在基本不提高GPU计算力的情况下，通过采用超分辨率神经网络模型，将第一分辨率下的三维体素数据输入超分辨率神经网络模型以生成第二分辨率下的三维体素数据，其中，第一分辨率小于第二分辨率，即将低分辨率体素数据生成为高分辨率体素数据，进而以高分辨率体素数据获得目标物体的三维模型，从而可以提高三维模型的分辨率。

在一些实施例中，所述超分辨率神经网络模型通过以下步骤训练获得：获取物体的彩色三维点云序列；基于动态融合方法求解变形场以对所述彩色三维点云序列进行配准；将所述彩色三维点云序列在所述第一分辨率下获得第一组体素数据，以及，将所述彩色三维点云序列在所述第二分辨率下获得第二组体素数据；以所述第一组体素数据为输入，以所述第二组体素数据为基准，训练基础网络模型，以获得所述超分辨率神经网络模型。

在一些实施例中，获取目标物体的彩色三维点云数据，包括：获取目标物体时序上连续的深度图像序列和彩色图像序列；对每一帧深度图像进行处理以获得三维点云数据，以及，对每一帧彩色图像进行处理以获得颜色数据；将对应帧图像的三维点云数据与颜色数据进行配准，获得所述三维彩色点云数据。