[发明专利]一种基于WebGL的实时虚实融合直播系统及方法

说明书

本发明提出的一种基于WebGL的实时虚实融合直播系统及方法，该系统及方法使用WebGL接口在Web端实现了一种实时虚实融合的有效方法。该系统由5个模块组成：视频模型生成模块、视频直播模块、GIS服务模块、虚实融合模块以及场景操纵器模块。该系统实现了Web端上多视频流实时虚实融合的显示效果，提升了虚实融合显示的匹配准确度，具有需求资源少，跨平台兼容性好，可扩展性强的优点。

技术领域

本发明属于计算机视觉中的虚拟现实技术领域，主要涉及一种基于WebGL的实时虚实融合直播系统及方法。

背景技术

随着计算机图形技术与互联网技术的发展，传统的二维图像渐渐不能满足现代人们对展示和理解场景的需要，而虚拟现实技术的出现弥补了这个缺点。因此，近年来，虚拟现实技术及其相关领域发展迅速，被广泛用于模拟训练，视频监控，城市漫游，军事演示，景区展示等领域。

虚拟三维场景能够让用户得到更加立体与真实的体验。当虚拟场景的环境信息与真实环境信息越相似，用户得到的真实感越高，而且虚拟场景能够使用户更好、更自由地了解对应的真实场景，增加了场景的沉浸感和体验感。但是，由于三维虚拟场景中的模型只能表示某一个时刻的静止状态，用户并不能够通过观察这样静止的三维场景模型来了解到该场景的动态变化。恰好相反，二维视频图像虽然不能展示三维模型具有的立体的感觉，但能够比较真实地记录一段时间内场景的实际变化，人们通过视频可以了解到场景的动态变化。

如果将三维虚拟环境与二维视频图像结合起来建立增强虚拟环境，既能够提升三维模型蕴含的信息量，使三维模型更加具有真实世界的变化，更富真实感，又能表达出比视频图像更加广阔的空间范围，使用户能够利用虚拟场景的模型外观，空间分布，画面动态等信息进一步理解视频图像的内容以及各个视频图像的时空关系，减轻用户的认知压力。早在1996年，Moezzi(参见Moezzi S,Katkere A,Kuramura D Y,et al.Reality modelingand visualization from multiple video sequences[J].Computer Graphics andApplications,IEEE,1996,16(6):58-63)等就提出三维场景融合视频显示的概念，他们使用多个不同视角的相机来捕捉运动中的物体，并对其重建，然后动态地将重建的模型融合到虚拟场景中。2003年南加州大学的Neumann(参见NeumannU,et al.Augmented VirtualEnvironments(AVE):for Visual-ization of Dynamic Imagery[C].IEEE VirtualReality 2003.2003:61-67)等人首次提出了增强虚拟环境(Augmented VirtualEnvironment，AVE)这一概念，进一步发展了视频增强虚拟场景技术，得到了虚实融合显示的效果。Neumann等人实现了多个校园场景的增强虚拟环境，再将采集的视频数据投影到对应的建筑模型和地形上，形成了带有图像变化的动态三维模型。2012年台湾大学的Chen(参见Chen S C,Lee C Y,Lin C W,et al.2D and 3D visualization with dual-resolutionfor surveillance.Proceedingsof IEEE Computer Society Conference on ComputerVision and Pattern Recognition Workshops,Providence,2012.23–30)等建立了使用GIS辅助的可视化框架，其将多个不同分辨率相机的视图与三维模型进行融合，实现了多分辨率的监控策略。