[发明专利]一种基于时序标签传递的视频图像去雾方法

权利要求书

1.一种基于时序标签传递的视频图像去雾方法，其特征在于，该方法包括以下步骤：

步骤一、建立有雾视频图像训练集，过程如下：

步骤101、利用已知深度的清晰视频图像数据集{X_i}，按照大气散射模型合成不同雾霾程度的有雾视频图像训练集{Y_i}，其中，i为清晰视频图像帧号且i＝1,2,...,N，N为清晰视频图像的总帧数且N不小于1000；

步骤102、将(X_j,Y_j+t,X_j+t)组成一组样本图像，构建有雾视频图像训练集{(X_j,Y_j+t,X_j+t)}，其中，有雾视频图像训练集{(X_j,Y_j+t,X_j+t)}中样本图像组数不小于1000，t为不大于5的随机正整数，j为不大于N-t的正整数；

步骤二、设计去雾网络对单组样本图像中有雾视频图像去雾，过程如下：

步骤201、在步骤一中的有雾视频图像训练集提取第一组样本图像，将本组中有雾视频图像和帧号在前的清晰视频图像叠加送入编码器，得到叠加图像尺寸1/8的特征图f^1/8，所述编码器包括多个带下采样的卷积块，所述卷积块包括卷积层、批归一化处理以及激活函数；

步骤202、将特征图f^1/8送入特征提取模块，得到强化特征图所述特征提取模块包括多个特征提取单元，所述特征提取单元包括多个残差模块和一个位于多个残差模块之后的跳连接；

所述残差模块包括卷积块叠加恒等映射；

步骤203、将特征图f^1/8反卷积得到叠加图像尺寸1/4的反卷积特征图f^1/4，将强化特征图反卷积得到叠加图像尺寸1/4的反卷积强化特征图将反卷积特征图f^1/4和反卷积强化特征图进行叠加后反卷积，得到叠加图像尺寸1/2的反卷积强化特征图

步骤204、将反卷积特征图f^1/4反卷积得到叠加图像尺寸1/2的反卷积特征图f^1/2，将反卷积特征图f^1/2和反卷积强化特征图进行叠加后反卷积，得到本组样本图像中有雾视频图像的去雾图像I_d；

步骤三、根据公式计算去雾图像I_d的像素级绝对值损失函数L，其中，Q为有雾视频图像的像素点总数，q为有雾视频图像的像素点编号且q＝1,2,...,Q，为本组样本图像中有雾视频图像的去雾图像I_d中第q个像素点的像素值，为本组样本图像中帧号在后的清晰视频图像中第q个像素点的像素值，z不大于N-t的正整数；

步骤四、更新权重参数集合：将去雾图像I_d的像素级绝对值损失函数L，送入Adam优化器，对步骤二的去雾网络训练优化，更新去雾网络的权重参数集合；

步骤五、调取下一组样本图像，将下一组样本图像视为第一组样本图像，循环步骤二至步骤四，直到训练达到预设训练步数或者损失值不再下降或损失值小于0.001即停止训练，此时，得到去雾网络的最终权重参数集合，并确定最终的去雾网络；

步骤六、测试视频的首帧实际有雾图像去雾；

步骤七、测试视频的当前非首帧实际有雾图像去雾：以上一帧实际有雾图像的去雾图像和当前非首帧实际有雾图像作为输入，送入最终的去雾网络中进行前向推理得到测试视频的当前非首帧实际有雾图像的去雾图像；

步骤八、多次循环步骤七，直至整个视频图像序列完成去雾，实现对整个视频图像序列的连续去雾；

步骤六中，利用人工去雾方式或单张图像去雾模型对测试视频的首帧实际有雾图像去雾。

2.按照权利要求1所述的一种基于时序标签传递的视频图像去雾方法，其特征在于：步骤五中，所述预设训练步数为10000～20000。

3.按照权利要求1所述的一种基于时序标签传递的视频图像去雾方法，其特征在于：步骤201中，所述编码器包括至少三个带下采样的卷积块；步骤202中，所述特征提取模块包括5～10个特征提取单元。

4.按照权利要求1所述的一种基于时序标签传递的视频图像去雾方法，其特征在于：所述已知深度的清晰视频图像数据集包括NYU图像数据集。