[发明专利]三维重建方法、装置及增强现实AR设备

说明书

本申请提供了一种三维重建方法、装置及AR设备，利用AR设备获取当前环境中对象的图像信息，并将该对象各角度的图像信息作为样本数据，利用神经网络算法进行模型训练，得到该对象的三维重建模型，这样，在用户穿戴该AR设备后，直接将扫描得到的对象的图像信息作为三维重建模型的输入进行处理，快速且准确得到对象的三维网格数据，提高了生成三维对象模型的效率及精准度，解决了传统三维重建方式得到的三维对象模型边缘锯齿或不够圆滑，导致三维对象模型与实际对象存在差异的问题。

技术领域

本申请主要涉及计算机图形学和计算机视觉领域，更具体地说是涉及一种三维重建方法、装置及增强现实AR设备。

背景技术

三维重建是一种将彩色图像和深度图像通过分析处理，运用一定的算法来生成对应物体三维信息的一种技术，也是在计算机中建立表达客观世界的虚拟现实的关键技术，被广泛应用到医学、军事、教学、海洋等多个领域，且得到的三维模型在增强现实(AR，Augmented Reality)场景中也得到很好的应用。

传统的三维重建技术通常是以二维图像作为输入，重建出场景中的三维模型，但这受限于输入数据，重建出的三维模型往往不够完整，与真实物体差异较大，真实感较低。

近几年，技术人员提出了通过对物体的不同角度拍摄彩色图像，使用相关计算机图形学和视觉技术，来构建该物体的三维模型的方法。但是，但这种三维重建方法需要花费较长时间对物体进行扫描，且在构建三维模型时，因生成的模型表面划分结构不合理，导致得到模型顶点数目很高，模型边缘参差不齐，降低了三维模型构建效率及真实性。

发明内容

有鉴于此，本发明提供了一种三维重建方法、装置及AR设备，利用预先训练得到的神经网络模型，对采集到的对象的图像信息进行处理，快速且准确得到对象的三维网格数据，提高了生成三维对象模型的效率及精准度。

为了实现上述发明目的，本申请提供了以下技术方案：

本发明实施例提供了一种三维重建方法，应用于增强现实AR设备，所述方法包括：

获取当前环境中对象的图像信息；

将所述图像信息输入三维重建模型进行转换处理，得到所述对象的三维网格数据，所述三维重建模型是基于神经网络算法，对所述对象不同角度的图像信息进行训练得到的；

利用得到的三维网格数据，生成所述对象的三维对象模型。

可选的，所述获取当前环境中对象的图像信息，包括：

获取当前环境中对象不同角度的彩色图像数据；

或者，获取当前环境中对象不同角度的彩色图像数据及对应的点云数据。

可选的，所述将所述图像信息输入三维重建模型进行转换处理，得到所述对象的三维网格数据，利用得到的三维网格数据，生成所述对象的三维对象模型，包括：

将所述对象的各角度的图像信息依次输入三维重建模型进行转换处理，得到所述对象相应角度下的视觉区域的三维网格数据；

利用得到的所述对象相应角度下的视觉区域的三维网格数据，生成所述对象的所述视觉区域对应的三维对象区域模型；

在得到所述对象下一角度下的视觉区域的三维网格数据后，利用所述对象下一角度下的视觉区域的三维网格数据，更新所述三维对象区域模型，直至得到所述对象各角度下的视觉区域的三维对象区域模型。

可选的，所述方法还包括：

展示所述对象的三维对象模型的生成过程。

可选的，所述方法还包括：

响应针对所述对象的三维对象模型的标记指令，得到所述对象的三维对象模型的标记区域；