[发明专利]一种基于结构化残差学习的单图去雨方法

说明书

本发明公开了一种基于结构化残差学习的单图去雨方法，通过多分支并行的编译码网络模块很好地提取多尺度残差雨层。首先，对图像数据预处理得到雨图和对应的干净无雨图；然后，根据雨图的生成机制，建立单图去雨模型；接着，根据雨条的先验特性，建立多尺度编译码网络(MSEDNet)；之后，将预处理后的雨图传入MSEDNet，根据训练损失函数，通过反向优化算法迭代更新MSEDNet，使得网络的输出结果逐渐逼近预处理后的干净无雨图，当达到设定的迭代次数时，保存此时的网络参数，即为训练模型；最后进入网络测试阶段，准备待测试的雨图，加载训练模型，将该雨图输入MSEDNet进行前向计算，网络的输出结果即测试雨图对应的去雨图像。本发明具有较强的去雨性能和较好的泛化能力。

技术领域

本发明属于图像处理以及深度学习技术领域，特别涉及一种基于结构化残差学习的单图去雨方法。

背景技术

在室外拍摄的图像通常会受到雨天的影响而遭受到破坏，比如有效的背景和纹理细节会被高亮的雨滴和浓密的雨条遮挡。这不利于提升户外视觉任务的性能，比如目标追踪，视频监控和行人检测。因此，图像去雨是一项非常重要且必要的预处理任务，近年来已经受到广泛的研究关注。由于没有视频中多帧图像间的信息可以利用，单张图像去雨是一个富有挑战性的问题。

目前，已有的单图去雨技术大致可以分为三类：基于滤波器的方法，基于传统模型的方法和基于深度学习的方法。基于滤波器的方法将单张雨图通过导向滤波等方式分解为低频部分(背景层)和高频部分(雨层和纹理细节)，然后利用雨条的物体特性抽取高频部分的雨层，将低频部分和高频的纹理细节融合从而得到重构的去雨图。由于高低频分解的不精准性，该类方法通常导致去雨图丢失部分有效的图像细节。基于传统模型的方法主要通过使用不同的正则项分别刻画背景层和雨层的先验结构，然后利用传统的迭代优化算法获得重构后的背景层和雨层。由于正则项表达的有限性，该类方法通常只能在某些场景下适用。当面对多样的雨图时，由于雨模态分布的复杂性，这些正则项不能再很好地刻画这些雨条的先验分布。另外，由于牵涉到复杂的迭代优化推理计算过程，基于传统模型的方法通常是很费时的，这显然不利于实际应用。最近随着深度学习的快速发展，卷积神经网络也广泛应用到了单图去雨任务中，当前的基于深度学习的方法主要关注设计多样的网络模块，然后利用大量的成对训练样本进行端到端训练这些深度网络架构，从而获得去雨图。相比传统的基于模型的去雨方法，虽然该类方法实现了突出的去雨效果，但仍有一些缺陷。比如，他们设计的网络结构越来越复杂，没有过多地挖掘其结构的合理性，而是将其看成是一个封装好的端到端映射模块。另外，该类方法基本忽略了雨条内在的先验结构，比如稀疏性和局部模式的重复性，因此通常容易遇到样本过拟合问题，其泛化性能是受限的。

发明内容

为了克服上述现有技术的缺点，针对基于传统的单图去雨技术以及目前基于深度学习的单图去雨技术存在的问题，本发明的目的在于提供一种基于结构化残差学习的单图去雨方法，具有良好泛化能力。

为了实现上述目的，本发明采用的技术方案是：

一种基于结构化残差学习的单图去雨方法，包括如下步骤：

步骤1)数据准备阶段：对图像数据进行预处理，得到雨图和对应的干净无雨图；

步骤2)模型建立阶段：根据雨图的生成机制，建立单图去雨模型；

步骤3)网络设计阶段：根据雨条的先验特性，设计一个多尺度编译码网络(Multi-Scale Encoder-Decoder Network,MSEDNet)；

步骤4)网络训练阶段：加载步骤1)预处理后的雨图，然后将其传入步骤3)中的多尺度编译码网络，根据训练损失函数，通过反向优化算法迭代更新多尺度编译码网络，使得网络的输出结果逐渐逼近步骤1)预处理后的干净无雨图，当达到设定的迭代次数时，训练终止，保存此时的网络参数，即为训练模型；