[发明专利]基于手持移动设备的动态实时三维重建方法和系统

说明书

本发明提供一种基于手持移动设备的动态实时三维重建方法和系统，其方法包括如下步骤：同步采集场景的彩色图像和深度图像；对彩色图像和深度图像数据进行无损压缩；将压缩后数据同步传输给处理单元；解压得到彩色图像序列和深度图像序列；根据标定好的彩色相机和深度相机之间的转换矩阵；进行动态三维重建；将动态三维重建的模型进行纹理贴图，纹理贴图后的模型传输给手持移动设备并在手持移动设备上显示。本发明对场景中的静态物体和运动物体的动态三维重建过程更加方便，使场景和场景中运动物体可以得到三维重建的结果；通过动态实时三维重建算法，可以得到准确的三维重建模型，包括更好的模型几何细节、反射率和动作信息。

技术领域

本发明涉及计算机视觉中的三维重建领域，尤其涉及一种基于手持移动设备的动态实时三维重建方法和系统。

背景技术

随着计算机视觉领域中的三维重建技术的不断发展，动态场景的三维重建技术成为了计算机领域中的一个研究热点，新的动态场景的三维重建方法不断地涌现，重建出的模型的精度和几何细节等效果也在不断提升。

在算法方面，现在流行的进行动态场景的三维重建方法包括利用多场景的输入、控制周围环境、利用初始化模型或动作先验等去恢复一个场景的几何、表面和运动信息。许多同步重建动态场景的算法在计算机视觉和图形学领域都有重要作用。例如，重建几何和表面信息的模型可以用于虚拟现实技术的自由视点的视频中。尽管动态场景的三维重建技术已经有了很大的发展，但由于过于庞大的解空间，导致动态场景的三维重建对精细的摄像环境、摄像设备和处理设备都有一定的要求。

在单视角的彩色和深度摄像机重建动态场景的技术中，已经出现了效果较好的动态实时重建算法，然而现行算法采用的多是不可交互的三脚架固定深度摄像机，如Kinect深度摄像机等。通过图形用户界面在相机端观察结果的基于手持移动设备的动态实时三维重建还没有切实可行的方法。

发明内容

本发明为了解决现有技术中没有通过图形用户界面在相机端观察结果的基于手持移动设备的动态实时三维重建方法的问题，提供一种基于手持移动设备的动态实时三维重建方法和系统。

为了解决上述问题，本发明采用的技术方案如下所述：

提供一种基于手持移动设备的动态实时三维重建的方法，包括如下步骤：S1：利用手持移动设备的彩色相机和可以固定在手持移动设备上的深度相机同步采集场景的彩色图像和深度图像，手持移动设备是手机、平板或摄像机；S2：将获得的彩色图像和深度图像数据作为普通二进制数据进行无损压缩，无损压缩采用的方法是LZ4压缩算法；S3：采用Socket通信将压缩后的彩色图像二进制数据和深度图像二进制数据通过两条通道同步传输给处理单元，处理单元是台式机或云端；S4：对彩色图像二进制数据和深度图像二进制数据解压得到彩色图像序列和深度图像序列；S5：根据标定好的彩色相机和深度相机之间的转换矩阵，将解压得到的深度图像序列转换成彩色相机的三维坐标系下的深度图像序列；S6：根据转换后的深度图像序列和解压得到的彩色图像序列进行基于单视角彩色深度相机的几何、反射率和动作的动态三维重建；包括如下步骤：S61：关节运动和光照优化：从当前拍摄帧和上一帧所得到的静态模型中估计非刚性表面运动和低频环境光照；S62：静态模型更新：根据当前拍摄帧的彩色图像和深度图像解出新的运动，再根据低频环境光照解出反射率，从而进行静态模型的更新。S7：将动态三维重建的模型进行纹理贴图，传输采用Socket通信将纹理贴图后的模型传输给手持移动设备并在手持移动设备上显示，模型通过应用软件在手持移动设备上显示，通过应用软件对模型进行调整。

提供一种基于手持移动设备的动态实时三维重建的系统，包括：带有彩色相机的手持移动设备，用于获取场景的彩色图像，并显示、调整三维重建模型；固定在深度相机，用于同步获取场景的深度图像；与手持移动设备和深度相机可以进行数据传输的处理单元，用于处理彩色图像和深度图像。在变通实施例中，还包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-8任一所述方法的步骤。