[发明专利]基于光度立体的自由视角重光照方法和系统

说明书

技术领域

本发明涉及数字图像处理领域，特别涉及一种结合光度立体，利用多视角摄像阵列在可控光照条件下采集动态视频，恢复目标物体的法向及反射特性，并进行自由视角重光照的方法和系统。

背景技术

随着数字采集及处理技术的飞速发展，动态视频已成为日常生活和科学研究中广泛存在的一种媒体格式。而在对视频进行处理和播放的过程中，光照条件对视频质量和效果有着至关重要的影响，另外拍摄的角度不同，也会带来不同的效果。尤其对于感兴趣的动态物体，为实现从自由视角对该物体的观察，和生成该物体在任意光照条件下的不同效果，需要基于动态视频对该目标物体进行自由视角的重光照操作。

现有的物体重光照方法主要包括基于光度立体及基于图像的重光照操作两类。

基于光度立体的重光照方法，通过在多种可控光照条件下，对物体进行拍摄，并结合参数化光照模型，恢复物体表面的几何及反射属性信息，从而根据光照模型在新的光照条件下对物体进行重光照操作，并渲染至自由视角进行显示。但是由于此类方法需要在多种可控光照下对场景进行采集，且计算过程中采用无穷远摄像机模型对物体表面的几何信息进行恢复，因此目前已有的基于光度立体的重光照方法多是针对单视角静态场景进行处理，少数针对动态场景的处理方法也需要使用造价昂贵的高速摄像头；且由于需要使用参数化光照模型进行求解，如漫反射光照模型或球面谐波等，因此此类方法也往往受限于对郎伯表面进行处理。

基于图像的重光照方法，是将多种密集可控光照条件下采集的物体图像作为基向量，通过对基向量进行线性组合，实现目标物体的重光照操作。由于在这一过程中，无需利用解析光照模型进行参数求解，而是直接将采集图像作为基向量进行组合，因此重光照效果的真实性较高。但相应的代价是，此种方法需要对目标物体在密集光照条件下进行采集，采集成本及复杂度均较高，且由于三维几何信息的缺失，此类方法很难实现自由视角的渲染。

总之，目前需要本领域技术人员迫切解决的一个技术问题就是，如何提供一种高效的，支持自由视角观察且渲染效果具有高真实感的动态场景重光照方法。

发明内容

本发明的目的在于克服已有技术的不足之处，特别是解决现有技术中对动态场景重光照困难的缺陷。

本发明提出了一种用于动态场景的，基于光度立体的自由视角重光照方法，包括以下步骤：在可控变化光照条件下，利用多视角摄像阵列采集目标物体的动态视频图像；根据采集的所述动态视频图像获取所述目标物体的三维模型及模型表面反射特性；根据所述目标物体的三维模型和模型表面反射特性获得所述目标物体的静态三维物体重光照模型，并根据所述三维模型、模型表面反射特性及所述多视角动态视频图像获得所述目标物体的三维运动轨迹；根据所述目标物体的三维运动轨迹和所述静态三维物体重光照模型获得所述目标物体在各时刻的动态三维物体重光照模型；和基于用户给定的任意自由视角，对所述目标物体的动态三维物体重光照模型进行依赖自由视角的渲染，以实现所述目标物体的自由视角重光照。

根据本发明的一个实施例，还包括：根据所述预设的可控变化光照条件设置可控光源序列，所述可控光源序列包括多个LED光源。

根据本发明的一个实施例，还包括：对所述多视角摄像阵列进行几何及颜色校准，以及对所述多视角摄像阵列和所述可控光源序列进行同步校准。

根据本发明的一个实施例，还包括：在采集场景中央放水晶球，在所述预设的可控光照序列下利用所述多视角摄像阵列对所述水晶球进行拍摄；和对拍摄的多视角视频中各帧水晶球图像进行全景拼图，得到各时刻对应的场景光照环境图。

根据本发明的一个实施例，所述获取目标物体的三维模型及模型表面反射特性的步骤包括：利用获得的每个单视角中所述目标物体的动态视频，获取所述目标物体在对应的单视角中的可见区域表面的法向和反射特性信息；和对获取的目标物体在各个单视角中的可见区域表面的法向和反射特性信息进行融合，以获取所述目标物体的三维模型及模型表面反射特性。