[发明专利]一种基于小波的双分支网络图像去雨方法、系统和介质

说明书

本发明公开的一种基于小波的双分支网络图像去雨方法,系统和介质；其中方法包括：获取含无雨图像和其对应的合成雨图像作为一个样本对的训练图像集和测试图像集；将雨图像进行二级小波变换，将待去雨图像从图像域转到小波域上进行去雨操作；基于预设的自适应注意力分支提取雨图像的通道和空间信息，自适应地计算注意力和非注意力模块的权重；基于预设的扩展分支，通过不同的空洞卷积操作来扩大感受野；通过小波逆变换获取去雨图像；基于预设的小波和结构相似性的损失函数对去雨图像进行约束，得到标准去雨图像。本发明提高在图像去雨的准确性的同时，结合雨图的特性，提高了去雨的泛化能力和对图像背景信息的保护能力。

技术领域

本发明涉及图像处理技术领域，更具体的，涉及一种基于小波的双分支网络图像去雨方法、系统和存储介质。

背景技术

现实中的室外的恶劣天气经常会导致摄像设备获取到的图像出现各种程度的退化，这将很大程度上限制计算机视觉系统的正常使用。下雨天是自然界最为常见的恶劣天气之一，相互交错的雨纹导致了背景信息出现模糊的现象，而且受雨纹影响的区域会导致像素值突变，遮盖了原有得背景信息，也严重地影响了后续高级计算机视觉任务地进行。因此，如何在有效除去雨图像上的雨纹的同时，保留原有的背景信息，使雨图像清晰化具有重要的意义和应用价值。

随着深度学习的发展，通过构造神经网络模型来实现单幅图像去雨已经变得相对容易了，然而，现有的方法大多是根据经验来搭建以卷积神经网络为基础的神经网络模型，需要消耗大量的时间精力对网络结构进行调试，而且其感受野的局部性和模型的冗余性使得模型不能很好地学习到雨图的全局信息，导致不能很好地去除雨纹。

因此，现有技术存在缺陷，亟待改进。

发明内容

鉴于上述问题，本发明的目的时提供一种基于小波的双分支网络图像去雨方法、系统和存储介质，能够更加有效的提高去雨的准确性和模型的泛华能力。

本发明第一方面提供了一种基于小波的双分支网络图像去雨方法，包括：

获取含无雨图像和其对应的合成雨图像作为一个样本对的训练图像集和测试图像集；

将合成雨图像进行二级小波变换，将待去雨图像从图像域转至小波域以进行去雨处理；

基于预设的双分支自适应扩展注意力网络，通过小波逆变换，得到去雨图像；

基于预设的小波和结构相似性的损失函数对去雨图像进行约束，得到标准去雨图像。

本方案中，所述二级小波变换，具体为：二级哈尔小波变换。

本方案中，所述预设的双分支自适应扩展注意力网络，具体为：包括自适应注意力分支和扩展分支，所述自适应注意力分支包括动态分配权重模块、注意力模块和非注意力模块，其中注意力模块和非注意力模块包含多个残差网络模块，所述残差网络模块Res(·)是去掉BN层的ResNet模块，非注意力模块由两个残差网络模块组成，其表示为：

F_{non-attention}＝Res(Res(R_i))

其中，R_i表示第i个自适应扩展注意力模块的输入，Res(·)表示残差网络模块，F_{non-attention}表示非注意力模块的输出；

此外，所述注意力模块包含多个残差网络模块和上/下采样层，可表示为：

F_attention＝Res(Res(R_i))*σ(Up(Res(Down(R_i)))+R_i)

其中，Up和Down分别表示上/下采样层，σ(·)表示Sigmoid激活函数，*表示矩阵的乘法，F_attention表示注意力模块的输出。