[发明专利]一种基于时序标签传递的视频图像去雾方法

说明书

本发明公开了一种基于时序标签传递的视频图像去雾方法，包括步骤：一、建立有雾视频图像训练集；二、设计去雾网络对单组样本图像中有雾视频图像去雾；三、计算去雾图像的像素级绝对值损失函数；四、更新权重参数集合；五、调取下一组样本图像，循环步骤二至步骤四，直到停止训练；六、测试视频的首帧实际有雾图像去雾；七、测试视频的当前非首帧实际有雾图像去雾；八、多次循环步骤七，实现对整个视频图像序列的连续去雾。本发明利用时序相邻的去雾结果作为先验，引导后续视频帧进行去雾，并不断更新引导图像，从而实现去雾视频在时间维度上的连续自然变化，并同时保持图像在空间维度上能够准确去雾，输出时空一致的清晰视频序列。

技术领域

本发明属于视频图像去雾技术领域，具体涉及一种基于时序标签传递的视频图像去雾方法。

背景技术

在雾、霾之类的恶劣天气下采集的视频图像会由于大气散射的作用出现质量退化现象，使图像颜色偏灰白色，对比度降低，物体特征难以辨认，不仅使视觉效果变差，图像观赏性降低，还会导致图像内容的理解出现偏差，如在自动驾驶领域因为雾霾的影响可能导致无法检测到远处的行人或者是车道线，进而引发交通事故。视频图像去雾就是指用特定的方法和手段，使空气中悬浮微粒对视频图像的不良影响降低甚至消除，保持图像在空间上的清晰以及时间上的自然过渡。与单张图像去雾不同，视频图像去雾强调每一张图像正常去雾的同时，还要求图像序列不能出现明显的颜色跳变。此外，雾霾视频图像包含的信息比单张雾霾更多，可通过连续帧的变化提供雾霾指示，对其进行去雾处理得到清晰的图像。

现有视频去雾算法通常分为3类，第一类是将视频看作单帧图像集合，通过对每帧图像进行独立去雾实现对整个视频的去雾处理。按照单张图像去雾算法主要分为基于图像增强的方法，基于物理模型的方法和基于深度学习的方法。基于单帧图像的视频去雾方法在处理过程仅对每帧图像进行单独计算，忽略了帧间时序关联，容易导致生成的视频去雾结果不连贯，相邻帧间去雾图像在背景区域存在颜色和亮度的突变。第二类方法基于融合技术实现视频去雾。这类方法首先对视频中每帧图像前背景区域分别进行增强处理，然后运用融合技术获得去雾结果。但这类方法的对前背景的分离算法具有依赖性，通常在雾霾比较严重时，无法准确分离前景与背景，此外分别增强也容易导致前景和背景之间的对比度失真。第三类方法通常首先估计一个通用的去雾模型，然后将其应用于后续各帧的去雾处理中。基于通用去雾模型的方法可以提高视频去雾算法求解效率，然而各种去雾模型均依赖不同的假设条件，如视频中背景区域变化不明显或视频每帧图像雾的分布均相同等，对于真实视频这种假设通常不满足，因而这类方法的效果还需要进一步提高。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于时序标签传递的视频图像去雾方法，利用时序相邻的去雾结果作为先验，引导后续视频帧进行去雾，并不断更新引导图像，从而实现去雾视频在时间维度上的连续自然变化，并同时保持图像在空间维度上能够准确去雾，输出时空一致的清晰视频序列，便于推广使用。

为解决上述技术问题，本发明采用的技术方案是：一种基于时序标签传递的视频图像去雾方法，其特征在于，该方法包括以下步骤：

步骤一、建立有雾视频图像训练集，过程如下：

步骤101、利用已知深度的清晰视频图像数据集{X_i}，按照大气散射模型合成不同雾霾程度的有雾视频图像训练集{Y_i}，其中，i为清晰视频图像帧号且i＝1,2,...,N，N为清晰视频图像的总帧数且N不小于1000；

步骤102、将(X_j,Y_j+t,X_j+t)组成一组样本图像，构建有雾视频图像训练集{(X_j,Y_j+t,X_j+t)}，其中，有雾视频图像训练集{(X_j,Y_j+t,X_j+t)}中样本图像组数不小于1000，t为不大于5的随机正整数，j为不大于N-t的正整数；