[发明专利]一种视频场景的虚实光照融合方法

权利要求书

1.一种视频场景的虚实光照融合方法，其特征在于，包括如下步骤：

步骤S100，从视频中按照相等的时间间隔抽取视频关键帧，然后分别以视频关键帧图像中的天空、地面以及垂直表面作为线索，估计出每个线索计算推断得到的太阳所在位置的概率分布图，并联合由视频天空、地面及垂直表面得到的太阳位置概率推断出视频关键帧场景中太阳位置的概率分布图，生成视频场景关键帧的稀疏辐射度图；

步骤S200，通过光照参数滤波算法，利用视频关键帧的光照估计结果，修正视频非关键帧的光照估计结果，实现视频场景的虚实光照融合。

2.根据权利要求1所述的视频场景的虚实光照融合方法，其特征在于，所述步骤S100包括如下步骤：

步骤S110，首先将输入视频，按照预设的时间间隔分为多段等时间间隔的视频区间，对每一个视频区间从中抽取关键帧；

步骤S120，利用图像分割的方法，分割出关键帧中天空、地面以及垂直建筑物部分；

步骤S130，将分割出关键帧图像中的天空部分，建立概率模型，由天空的明暗程度推断出太阳所在位置的概率分布图；

将分割出关键帧图像中的地面部分，并提取出地面部分的阴影轮廓线，建立概率模型，由地面阴影线的走向推断出太阳所在位置的概率分布图；

将分割出关键帧图像中的垂直建筑物部分，建立概率模型，由建筑物表面受太阳光照的明暗程度推断出太阳所在位置的概率分布图；

步骤S140，联合由视频天空、地面及垂直表面得到的太阳位置概率推断出视频关键帧场景中太阳位置的概率分布图，生成视频场景关键帧的稀疏辐射度图。

3.根据权利要求2所述的视频场景的虚实光照融合方法，其特征在于，所述步骤S130包括如下步骤：

通过视频图像中的主体部分：天空像素S、地面像素G和垂直表面像素V来推断出太阳位置的概率分布；

视频场景的光照情况I可以通过两个参数来表示：其中θ_s表示太阳的天顶角，表示太阳相对于相机的方位角；

1)对于天空区域，天空像素s_i的明暗程度可以推断出太阳在天空区域可能出现的位置；

天空像素s_i符合以下产生式模型：

其中g(·)代表天空模型；代表均值为μ、方差为σ²的正态分布；k为尺度因子；

建立如下概率模型来计算推断出太阳位置的概率分布

2)对于地面区域，利用阴影检测的方法，提取出地面区域中阴影部分的轮廓线；

对地面区域检测出的每一条阴影线l_i，根据相机参数估计出其相对的方向α_i，建立地面区域阴影线的朝向与太阳方位角之间的关系

联合每一条阴影线对太阳方位的推断，得到太阳位置的概率分布

其中，表示正态分布的均方误差参数，∝表示该符号前一项与后一项成正比；

3)对于垂直建筑物部分，设场景中大部分垂直物体的表面都具有近似的反射率，利用垂直建筑物的正面、左侧表面和右侧表面三个表面的明暗程度来推断太阳位置的概率分布；

对于一个明亮的表面w_i，太阳最有可能的位置应该位于该表面的法向量方向β_i，建立每一个表面与太阳方位角的关系

其中为所对应表面的光照强度，联合三个表面对太阳方位的推断，得到太阳位置的概率分布

4.根据权利要求1所述的视频场景的虚实光照融合方法，其特征在于，所述光照参数滤波算法为卡尔曼滤波算法；

设在一个足够短的时间间隔内光照为常数，采用卡尔曼滤波利用光照的连续性平滑帧与帧之间的光影变化，由视频关键帧的稀疏辐射度图作为滤波输入，来修正非关键帧的稀疏辐射度图，得到视频每一帧的稀疏辐射度图，最后绘制视频每一帧的虚实融合场景，实现视频场景的虚实光照融合绘制。