[发明专利]一种视频场景的虚实光照融合方法

说明书

技术领域

本发明涉及图像处理和增强现实技术，具体地说是一种视频场景的虚实光照融合方法。

背景技术

虚拟现实是近年来不断发展的研究领域，通过以计算机科学与技术为核心的高新科技，生成与真实环境在视、听、触感等方面高度近似的逼真虚拟环境，使用户在虚拟环境获得身临其境的感受和体验。传统的虚拟现实技术主要强调虚拟场景建模和虚拟场景表现，较少将虚拟环境直接融入到客观存在的真实世界，这在一定程度上影响了虚拟现实技术的发展和应用。增强现实是虚拟现实的进一步拓展，借助必要的硬件和软件设备，使计算机生成的虚拟景物与客观存在的真实环境共存于同一个增强现实系统中，从感官和体验效果上给用户呈现出虚拟景物与真实环境融为一体的增强现实环境。增强现实是正在迅速发展的新研究方向，该方向的关键问题包括虚拟对象与真实场景的有效融合。

因此，基于视频的虚实融合场景，及其光照效果生成技术不仅成为虚拟现实和增强现实方向的技术发展趋势，也是图形学、计算机视觉、视频处理、模拟仿真等相关领域方向国际发展前沿的研究热点。在虚实融合场景中，影响虚实融合逼真效果的重要方面就是虚拟对象光照效果与真实场景光照信息的逼近程度。为了使计算机生成的虚拟对象具有真实感，达到与真实场景有效融合的效果，需要保持虚拟对象与真实场景间几何和光照的一致性。其中光照一致性是指，根据真实环境中的光照分布和虚拟对象的表面材质，计算虚拟对象的表面光照效果，以及虚拟对象在真实场景中生成的虚拟阴影效果。

为了使虚拟对象的光照效果能够接近真实场景的光照效果，现有的基于视频的虚实融合场景，及其光照效果生成技术主要通过人工在真实场景中设置一些光学标志物来采集真实场景的光照信息，利用光学标识物采集得到的光照信息，表示真实场景的光照条件，并且确定虚拟对象的光照参数，进而完成虚拟对象表面光照效果和虚拟阴影效果的计算。近年来，一些基于场景理解的虚实融合方法，力求从真实场景素材本身的几何特征与光照特征推断出真实场景的几何信息与光照信息，并建立光照模型表示真实场景的光照条件，从而可以不借助任何光照信息采集设备，完成虚实融合场景及其光照效果的生成。但目前，基于场景理解的虚实融合方法还不能满足虚实无缝融合视频处理的要求。在视频真实场景中，场景对象与真实光照条件随时间发生变化，会影响基于单帧图像的光照条件估计，而现有的虚实融合技术往往忽略了视频帧的虚实融合光照效果差异性，从而导致虚实融合场景的光照效果抖动现象，大大降低了虚实融合光照效果的逼真性。

近年来，一些视频场景的虚实光照融合方法都力求从场景素材本身推断出其中蕴含的光照信息，并建立光照模型，从而不借助任何光照信息采集设备，完成虚实光照融合。2006年，丹麦奥尔堡大学的Tommy Jensen等人，提出了一种无标识物的增强现实虚实光照融合方法，该方法基于户外场景，利用真实物体的表面图像获取真实环境的光照信息，针对虚拟物体与真实光照条件的不一致现象，给出了虚拟物体表面光照效果的修正方法，能够使虚拟物体的光照效果接近真实环境的光照条件，完成虚实光照融合。但该方法只能处理单个真实场景光源，如太阳，且需要已知场景的粗略三维模型和高动态范围环境图。

2009年，卡耐基梅隆大学的Jean-Francois Lalonde等人，提出了一种基于视频图像剪贴库的虚实光照融合方法。利用网络摄像头拍摄的延时视频序列，构建了拥有大量图像数据的“视频图像剪贴库”，针对库中的每幅图像进行辐射度和几何上的标定，并计算出视频序列图像中每一帧的高动态范围环境图。基于已知几何信息及光照信息的“场景图像剪贴库”，给定一副已具有光照效果的二维图像，可以在库中搜索出与其光照条件最匹配的场景，进行场景与对象的融合；还可以用库中的场景重光照三维图形，即完成虚实融合的效果。

2009年，浙江大学的刘艳丽等人还提出了一种针对静态户外场景的虚实光照融合方法，该方法的最大优势在于无需预知场景的几何、材质及纹理信息。对一个静态户外场景，用固定视角的相机经过长时间拍摄得到了涵盖场景不同光照情况的图像数据集。通过学习的方法从中得到分别依靠太阳光和天空光产生的阴影效果作为基图像来反映场景的几何属性及材质属性进行光照估计，并完成虚实光照融合，但是该方法只能处理静态固定视角的视频。