[发明专利]基于手持移动设备的动态实时三维重建方法和系统

权利要求书

1.一种基于手持移动设备的动态实时三维重建的方法，其特征在于，包括如下步骤：

S1：利用手持移动设备的彩色相机和可以固定在手持移动设备上的深度相机同步采集场景的彩色图像和深度图像；

S2：将获得的彩色图像和深度图像作为普通二进制数据进行无损压缩；

S3：将压缩后的彩色图像二进制数据和深度图像二进制数据通过两条通道同步传输给处理单元；

S4：对彩色图像二进制数据和深度图像二进制数据解压得到彩色图像序列和深度图像序列；

S5：根据标定好的彩色相机和深度相机之间的转换矩阵，将解压得到的深度图像序列转换成彩色相机的三维坐标系下的深度图像序列；

S6：根据转换后的深度图像序列和解压得到的彩色图像序列进行动态三维重建；

S7：将动态三维重建的模型进行纹理贴图，纹理贴图后的模型传输给手持移动设备并在手持移动设备上显示。

2.如权利要求1所述的一种基于手持移动设备的动态实时三维重建的方法，其特征在于，步骤S1中所述手持移动设备是手机、平板或摄像机。

3.如权利要求1所述的一种基于手持移动设备的动态实时三维重建的方法，其特征在于，步骤S2中所述无损压缩采用的方法是LZ4压缩算法。

4.如权利要求1所述的一种基于手持移动设备的动态实时三维重建的方法，其特征在于，步骤S3和步骤S7中的传输采用Socket通信。

5.如权利要求1所述的一种基于手持移动设备的动态实时三维重建的方法，其特征在于，步骤S3中所述处理单元是台式机或云端。

6.如权利要求1所述的一种基于手持移动设备的动态实时三维重建的方法，其特征在于，步骤S6中动态三维重建的方法是基于单视角彩色深度相机的几何、反射率和动作的动态实时三维重建。

7.如权利要求6所述的一种基于手持移动设备的动态实时三维重建的方法，其特征在于，动态实时三维重建包括如下步骤：

S61：关节运动和光照优化：从当前拍摄帧和上一帧所得到的静态模型中估计非刚性表面运动和低频环境光照；

S62：静态模型更新：根据当前拍摄帧的彩色图像和深度图像解出新的运动，再根据低频环境光照解出反射率，从而进行静态模型的更新。

8.如权利要求1所述的一种基于手持移动设备的动态实时三维重建的方法，其特征在于，步骤S7中纹理贴图后的模型通过应用软件在手持移动设备上显示，所述应用软件对纹理贴图后的模型进行调整。

9.一种基于手持移动设备的动态实时三维重建的系统，其特征在于，包括：

带有彩色相机的手持移动设备，用于获取场景的彩色图像，并显示、调整三维重建模型；

固定在深度相机，用于同步获取场景的深度图像；

与手持移动设备和深度相机进行数据传输的处理单元，用于处理彩色图像和深度图像。

10.如权利要求9所述的手持移动设备的动态实时三维重建的系统，其特征在于，还包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-8任一所述方法的步骤。