[发明专利]一种实时重建三维场景的方法及装置

权利要求书

1.一种实时重建三维场景的方法，其特征在于，包括几何重建过程和纹理重建过程；

所述几何重建过程包括：输入待实时重建场景的RGB图像和深度图像，根据帧相似度划分为关键帧与非关键帧进行处理，其中对于关键帧的处理包括储存特征点、进行回环检测寻找相似帧，以及进行全局的位姿优化与注册；对于非关键帧，则以相对关键帧的相对位姿注册；经过TSDF场融合后，再通过移动立方算法提取网格，来生成三维场景模型的几何；其中，所述几何重建过程中采用两级结构，所述两级结构将8×8×8个体素组织为一个方块，对每一个包含模型表面的有效方块采用哈希表管理；其中，当融合新的关键帧的TSDF与颜色值时，比较深度观测值与所述方块到相机平面的投影距离，来判断方块的有效性；

所述纹理重建过程包括：通过纹理映射的方式还原，实现纹理优化，以重建三维场景模型的色彩信息，其中，从输入的RGB图像序列中选取若干视角下的图像，提取纹理片拼接成完整的纹理并映射。

2.如权利要求1所述的实时重建三维场景的方法，其特征在于，所述纹理重建过程中，纹理优化的过程即纹理的选取与拼接的过程，等价于解马尔可夫随机场(MRF)优化问题。

3.如权利要求2所述的实时重建三维场景的方法，其特征在于，对于解马尔可夫随机场MRF优化问题，其中总体目标函数为min(E_data+E_smooth)，式中数据项为纹理片上梯度绝对值的积分，I表示颜色强度，p表示像素点，该项总体表征纹理的细节丰富程度；光滑项E_smooth＝[L_i＝L_j]·[(i,j)∈ε]中，L为纹理片i,j来源图像的标签，ε则为相邻纹理片对的集合，所述光滑项使用Potts模型，对来源不一致的相邻纹理片进行惩罚，该项总体表征了纹理的一致性。

4.如权利要求2所述的实时重建三维场景的方法，其特征在于，除了所述几何重建过程中将TSDF值和颜色值储存于8×8×8体素组成的方块中，同时在所述纹理重建过程中，将网格模型同样以所述方块作为超节点和MRF图的基本单元，每个方块通过空间哈希函数进行查找与修改。

5.如权利要求1至4任一项所述的实时重建三维场景的方法，其特征在于，所述纹理重建过程中，应用局部的颜色迁移算法，其中，以传统的顶点融合颜色作为颜色迁移的目标图像，对源图像纹理片进行色调迁移。

6.如权利要求5所述的实时重建三维场景的方法，其特征在于，利用所述颜色迁移求解纹理片上的最优线性变换，使得变换后的纹理片与融合颜色的均值方差差异最小。

7.一种实时重建三维场景的装置，包括计算机可读存储介质和处理器，所述计算机可读存储介质存储有可执行程序，其特征在于，所述可执行程序被所述处理器执行时，实现如权利要求1至6任一项所述的实时重建三维场景的方法。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有可执行程序，其特征在于，所述可执行程序被处理器执行时，实现如权利要求1至6任一项所述的实时重建三维场景的方法。