[发明专利]一种基于结构化残差学习的单图去雨方法

权利要求书

1.一种基于结构化残差学习的单图去雨方法，包括如下步骤：

步骤1)数据准备阶段：对图像数据进行预处理，得到雨图和对应的干净无雨图；

步骤2)模型建立阶段：根据雨图的生成机制，建立单图去雨模型；其中，所述雨图是由背景层和雨层组合形成的，对应的单图去雨模型刻画为：O＝B+R，其中，为雨图，H和W分别为该雨图的高度和宽度，为该雨图所对应的背景层，即为干净的无雨图，为该雨图所对应的雨层；

步骤3)网络设计阶段：根据雨条的先验特性，设计一个多尺度编译码网络(Multi-Scale Encoder-Decoder Network,MSEDNet)；

步骤4)网络训练阶段：加载步骤1)预处理后的雨图，然后将其传入步骤3)中的多尺度编译码网络，根据训练损失函数，通过反向优化算法迭代更新多尺度编译码网络，使得网络的输出结果逐渐逼近步骤1)预处理后的干净无雨图，当达到设定的迭代次数时，训练终止，保存此时的网络参数，即为训练模型；

步骤5)网络测试阶段：准备待测试的雨图，加载步骤4)中的训练模型，将该雨图输入多尺度编译码网络进行前向计算，网络的输出结果就是该测试雨图对应的去雨图像；

其特征在于，所述步骤3)中，根据雨条的多尺度和局部模式重复特性，设计一个多尺度编译码网络，步骤如下：首先，该网络依次使用一个3x3卷积层和两个残差块来获取浅层的特征信息，每个残差块均依次由3x3卷积层、ReLU层以及3x3卷积层构成，然后利用并行的网络参数共享的三路分支来分别提取小尺度、中尺度以及大尺度的雨条，将不同尺度的雨条相加融合，从而实现雨层的提取，最后根据步骤2)的单图去雨模型，从雨图O中减去获取到的该网络的输出，即雨层即可求得去雨背景图其中，三路并行的分支具有相同的网络结构，均由编译码网络(Encoder-Decoder Net)构成，该三路分支通过利用具有不同扩张率(Dilated Factor,DF)的空洞卷积运算来获取不同的感受野，从而分别提取小尺度、中尺度以及大尺度的雨条。

2.根据权利要求1所述基于结构化残差学习的单图去雨方法，其特征在于，所述步骤1)中图像数据预处理方法为：分别将成对的雨图和干净无雨图的像素数值范围归一化到0～1之间。

3.根据权利要求1所述基于结构化残差学习的单图去雨方法，其特征在于，根据雨条的局部模式重复特性，多尺度编译码网络中每一个并行分支的编译码网络由对称的编码部分和译码部分构成，其中，编码部分由T个残差块构成，每个残差块紧跟着一个实现降采样的池化层Maxpooling；对称地，译码部分也是由T个残差块构成，每个残差块紧跟着一个实现非线性升采样的MaxUnpooling层，然后依次使用一个1x1卷积层和3x3卷积层进行特征信息融合，再结合全局跳连接从而获得稀疏的雨特征图，最后利用一个空洞卷积层进行卷积运算最终提取到不同尺度的雨条。

4.根据权利要求3所述基于结构化残差学习的单图去雨方法，其特征在于，所述编码部分和译码部分对称的残差块和采样操作之间使用局部跳连接，以加速信息传递和特征充分利用。

5.根据权利要求3或4所述基于结构化残差学习的单图去雨方法，其特征在于，对于每一个分支，Maxpooling和MaxUnpooling层所对应的核大小均为2x2，每个残差块均依次由空洞卷积层、ReLU层以及空洞卷积层构成，每个空洞卷积层对应的卷积核大小均为3x3，对应的扩张率为DF，对于不同的分支，DF大小不同，所提取的雨条的尺度也不同。

6.根据权利要求1或3或4所述基于结构化残差学习的单图去雨方法，其特征在于，所述步骤4)中训练步骤具体包括：

(1)将雨图O输入多尺度编译码网络得到输出的去雨背景图

(2)计算网络输出的去雨背景图与干净的无雨图B的结构相似性(structuresimilarity,SSIM)为：对应的训练损失函数设计为

(3)通过随机梯度下降的方式减小训练损失函数L以优化多尺度编译码网络。