[发明专利]一种虚实融合场景中漫游路径规划的方法

说明书

本发明涉及一种虚实融合场景中漫游路径规划的方法，该方法整体上包括四部分内容，分别是视点采样、视点质量评价、道路图构建和路径生成，视点采样是在连续的空间中进行关键的离散视点的采样，其中连续的空间分为虚拟模型空间和视频模型空间两部分，视点评价包括对视频模型中视点的质量评价、虚拟模型中视点的质量评价和整体视点的质量评价；然后根据视点构建出道路图顶点集合，为路径计算提供完整的道路图，完成道路图的构建，路径生成是在该有向图中寻找一条连接所有视频模型顶点的路径，使得该路径总代价最小。本发明能够为虚实融合视频平台提供场景的漫游路径自动生成功能，提升用户的虚拟观测体验。

技术领域

本发明涉及增强虚拟环境技术领域，更具体的讲，涉及一种虚实融合场景中漫游路径规划的方法，是一种将视频图像融合到三维模型时视点评价和自动生成所有视频漫游路径的方法。

背景技术

增强虚拟环境(AVE)是用于在三维虚拟环境中以任意视角展示多路图片或者视频流的一项技术，该项技术将视频画面与三维模型融合显示，在城市漫游、交通分析、视频等一体化监控系统领域有着重要的应用。基于虚实融合的场景，用户可以在不同的视点位置观察场景内容，但是由于在三维场景中用户控制虚拟视角时需要更多复杂的人机交互过程，用户在熟悉系统操作时需要周期较长。另外由于现在虚拟现实技术正在发展之中，场景中存在画面质量较差的视点，未能保证整个场景的视觉效果能达到用户满意的程度，对于画面质量较差的内容用户会浏览至此。考虑到上述问题，进行虚实融合时要考虑相机视点之间合理的转移问题，设计出的自动漫游路径生成方法既能够简化人机交互过程，又能提升用户体验。目前的自动漫游路径生成方法首先基于视频画面畸变的视点质量度量方法，对空间采样点进行评价；接着为三维场景构建路径图和确定场景中相机的访问顺序，根据路径图和访问顺序，生成为每两个相机之间的最优路径，得到最终所有相机路径组成场景的漫游路径。

本发明前，已经有人对视点质量评价和路径规划做了相关研究。在视点质量评价方面，Secord Adrian发表论文“Perceptual models of viewpoint preference”(ACMTransactions on Graphics(TOG),2011,30(5):109)，总结了多个常用的视点质量评价方法，包括视点熵、网格显著度和侧影轮廓稳定性等。这些方法在视点质量评价的过程中，只考虑三维模型和构图画面等因素，未考虑模型纹理畸变对整个视点的质量带来的影响。这些方法不能够有效的评判模型纹理具有畸变的场景视点质量。因此增强虚拟环境系统需要一种对纹理畸变评价的视点质量评估方法。由于纹理畸变的情况是由模型深度和纹理深度不匹配引起的，所以在考虑视点质量评价时基于深度学习的方法计算图像中像素的深度。

在路径规划方面，不同的系统各个场景中的路径生成问题也往往各不相同，总体上涉及的是道路图构建和路径搜索两方面。Kavraki L等人发表论文“Probabilisticroadmaps for path planning in high-dimensional configuration spaces”(IEEETransactions on RoboticsAutomation,1996,12(4):566-580)，提出了一种随机通路图算法(Probabilistic Roadmaps,PRM)，该算法所针对的是静态场景中的非碰撞的路径设计问题，整个算法分为两个阶段：构建阶段和查询阶段。构建阶段用于构建道路图，查询阶段用于在道路图上查找最短路径。但是该算法的构建阶段所需要的时间较长，道路图中冗余顶点数量较多。Bohlin R、Kavraki L E等人发表论文“Path planning using lazy PRM”(ICRA.IEEE,2000:521-528vol.1)，提出了一种lazy-PRM算法，该算法在学习阶段中只进行了粗糙的、快速的可达性判断，并根据这个判断结果生成道路图，在查询阶段，会对路径上经过的边进行精细的连通性判断，如果经判断，某条边是不连通的，那么在通路图中删除这条边，并重新选择其他路径。这样一来就大大减少了连通性判断的次数，算法所需时间也大大减少。