[发明专利]一种现实环境动态光照的实时计算方法

说明书

本发明公开了一种现实环境动态光照的实时计算方法，涉及增强现实技术领域，本发明包括利用不少于两个相机分别从不同角度拍摄镜面球，调节各相机曝光度，得到不同曝光度的图片，根据图片生成高动态范围HDR图片序列；检测高动态范围HDR图片序列中的共同特征点，依据共同特征点对高动态范围HDR图片序列进行匹配，合成最初环境光照图；识别各图中光照的图像区域，在最初环境光照图上标记；将相机曝光度设置为一个特定值，对镜面球实时拍摄，得到实时LDR图；根据实时LDR图、最初环境光照图和高动态范围HDR图片序列，计算现实场景中的实时光照数据和环境光照数据，最终得到动态变化的光照信息，本发明可实时渲染虚拟场景中的物体，使AR应用视觉效果更逼真。

技术领域

本发明涉及增强现实技术领域，更具体的是涉及一种现实环境动态光照的实时计算方法。

背景技术

近年来，随着增强现实(AR)和混合现实(MR)技术的迅速发展，相关的应用越来越广泛，增强现实技术必须解决三大核心技术问题：几何一致性、光照一致性和合成一致性，其中光照一致性一直是AR研究领域的难题和挑战。光照一致性是指将虚拟世界的物体合成到现实环境中时，来自现实世界的光源与虚拟世界光照表达的一致性、现实物体与物体阴影的一致性、画面视觉效果的一致性。若光照无法保持一致，虚实融合后的效果则会产生不真实感，极大影响用户的体验。

为了解决光照一致性问题，直观地我们需要准确地恢复现实世界的光照环境，并将其作为虚拟世界的光照环境用于渲染虚拟物体。因此，面对变化万千的现实世界，如何准确实时地采集和计算现实世界的光照环境成为增强现实应用中亟待解决的问题，尤其在实时性增强应用中尤为重要，例如现场直播类AR电视节目、高成本的AR电影特效、AR演唱会等等，现有的光照一致性解决方案可归纳为以下几个：

1、一部分AR应用完全不考虑现实世界的光照信息，用虚拟世界虚拟光照信息渲染虚拟物体；在此基础上，有的虚拟场景设计师“有限”地模拟现实环境的光照信息来使虚拟物体产生阴影，即根据现实世界的灯光信息设计虚拟场景的灯光，这类能被设计的灯光常常为几何信息相对规则的静态灯光，如位置颜色强度无变化的室内灯光、方向光；这类AR应用中现实世界的光照环境较少地被考虑，因此AR效果的真实感也就无从评价；

2、有的研究提出了提前测量现实环境的光照信息的方法，可实现通过光照测量仪来测量室内特定的光源，但这类方法受限于现实环境中的光照相互影响，极为复杂，单一测量有限数量的光照仅能有限地表达直接光照的部分信息，无法表现间接光照或环境光照的信息；

3、基于图像信息的光照计算技术是增强现实中解决光照一致性的重要技术方案，通过普通相机采集到的现实世界的图像分析现实环境的光照信息，但这类方法先验条件为有限的图像信息，对光照信息的表达有限；其次，这类技术借助场景中的几何信息，需要大量的计算，效率较低，因此难以被广泛应用和推广；

4、在第3点的基础上有研究提出利用具有广角拍摄功能(如鱼眼)的相机拍摄环境图像来计算光照信息的方法，该方法假定光源一般位于场景的上方，选择上仰视角拍摄，当镜头畸变较大或视角外的光照则无法计算；

5、另一种普遍应用的光照计算方法是通过相机拍摄镜面球等光照探头LightProbe的图像，通过HDR全景图或六面体的Cubemap图来表现环境的信息，常用于现场场景周围环境捕获，但该方法受限于拍摄生成HDR全景图或Cubemap图，充分大的动态范围图像才能正确地表现现实环境的光照，通过普通相机拍摄多张不同曝光度的普通图像进而合成HDR图的方法，需要充分考虑相机的拍摄帧率和动态范围，HDR图准确性有限，且难以实时；利用专业HDR相机拍摄HDR图的方法，受限于HDR拍摄设备，成本较高，难以普及。

发明内容