[发明专利]基于反射分解的室内场景虚拟漫游方法

说明书

本发明公开了一种基于反射分解的室内场景虚拟漫游方法，首先利用三维重建获得粗略全局三角网格模型投影作为初始深度图，将深度边缘对齐到彩色边缘，将对齐深度图转换为简化的三角网格；检测全局三角网格模型中的平面，如果某平面为反射平面，则对每张可见该反射平面的图片在反射区域上构建双层表达，用于正确渲染物体表面的反射效果；给定虚拟视角，利用邻域图片及三角网格绘制虚拟视角图片，对于反射区域，利用前景背景图片和前景背景三角网格进行绘制。本发明方法可以在较小的存储需求的情况下，在较大的含有反射效果的室内场景中进行大自由度的虚拟漫游。本发明渲染效果好，漫游自由度较大，可绘制部分反射、高光等效果，结果鲁棒。

技术领域

本发明涉及基于图片的渲染和虚拟视点合成技术领域，特别涉及一种基于图片的渲染技术结合反射分解进行室内场景虚拟漫游的方法。

背景技术

室内场景虚拟漫游的目的是构建一个系统，给定虚拟相机的内外参，输出虚拟视点的绘制图片。现有比较成熟的虚拟漫游应用主要基于一系列的全景图片，以每个全景图片为中心可以进行纯旋转的虚拟漫游，全景图片间的移动多数系统利用简单的插值进行，这时候视觉误差比较大。对于大自由度的虚拟漫游，现有很多方法做到了物体级别的观察或者对场景中的一部分进行视点移动观察，包括利用光场相机显式的获取目标物体周围的光场，参见Gortler,Steven J.,et al.“The lumigraph.”Proceedings of the 23rdannual conference on Computer graphics and interactive techniques.1996，或者使用普通相机的拍摄图片利用神经网络进行场景的表达和插值，参见Mildenhall,Ben,etal.“Nerf:Representing scenes as neural radiance fields for view synthesis.”Proceedings of the European Conference on Computer Vision.2020。对于较大的室内场景，目前最新的方法可以做到相对自由视点的渲染，但是渲染效果还是不够好，参见Riegler and Koltun.“Free View Synthesis.”Proceedings of the EuropeanConference on Computer Vision.2020。特别的，对于较大的室内场景中存在的各种反射类型(地面、桌子、镜面等)，目前仍然没有一个系统可以较好处理具有这种复杂材质的室内漫游。

发明内容

本发明针对现有技术的不足，提供了一种基于反射分解的室内场景虚拟漫游方法，可以在较小的存储需求的情况下，在较大的含有反射效果的室内场景中进行大自由度的虚拟漫游。

为了达到上述目的，本发明采用以下技术方案：一种基于反射分解的室内场景虚拟漫游方法，包括以下步骤：

S1：在目标室内场景拍摄足够覆盖场景的图片，基于拍摄图片对室内场景进行三维重建，获取相机内外参及室内场景的粗略全局三角网格模型；

S2：对于每张图片，将全局三角网格模型投影为对应的深度图，将深度边缘对齐到彩色边缘，将对齐后的深度图转换为三角网格，对三角网格进行网格简化；

S3：检测全局三角网格模型中的平面，利用相邻图像间的颜色一致性，检测该平面是否为反射平面，如果是则对每张可见该反射平面的图片在反射区域上构建双层表达，用于正确渲染物体表面的反射效果；

所述双层表达包含前景背景双层三角网格及前景背景两张分解后的图片，前景三角网格用于表达物体表面几何，背景三角网格用于表达场景几何在反射平面的镜像，前景图片用于表达去除反射分量后的物体表面纹理，背景图片用于表达场景在物体表面的反射分量；

S4：给定虚拟视角，利用邻域图片及三角网格绘制虚拟视角图片，对于反射区域，利用前景背景图片和前景背景三角网格进行绘制。

进一步地，所述S2中，将深度图的深度边缘对齐到原图片的彩色边缘，获取对齐的深度图，具体为：