[发明专利]一种基于多尺度和非局部的轻量去雨方法

权利要求书

1.一种基于多尺度和非局部的轻量去雨方法，其特征在于，所述方法包括：

构建由初始模块和ConvLSTM模块组成的粗融合网络；

构建由基于纵横交错关注技术的特征提取模块和重构模块组成的精融合网络；

其中，所述初始模块，用于生成原尺度、1/2尺度和1/4尺度的特征图像，组成多尺度特征金字塔；所述初始模块包含三个卷积操作，分别为一个步长为1的3×3卷积层和两个步长为2的3×3卷积层；

将多尺度特征金字塔分别送入三个ConvLSTM模块中，经一层卷积提取特征，再经过一层ConvLSTM层后将小尺度的图像特征上采样，融合在大尺度图像特征中作为大尺度所在的ConvLSTM层的输入；

所述特征提取模块是一个编解码结构，其中卷积核大小为3的Encoder的下采样尺度为2；在解码部分，将卷积层替换为纵横交错关注层，用于捕获上下文信息；

在特征提取模块内部增加跨连接融合同尺度的特征图，将三个特征提取模块输出的特征图重构为残差图像，有雨图像减去残差图像即可得到去雨图像；

所述粗融合网络和精融合网络组成总体网络；通过有雨图像数据库训练总体网络，使用均方差误差损失和感知损失对预测出的去雨图像计算损失值；

利用反向传播机制更新网络参数，获取基于多尺度和非局部的轻量去雨模型，基于轻量去雨模型对有雨图像进行处理；

其中，纵横交错关注技术为：首先对输入的特征图像H进行2个1×1卷积操作来生成两张特征图像Q和K，通过亲和操作和softmax操作来生成关注图A，接着对特征图像H进行另一个1×1卷积操作来生成特征图像V，用来实现特征的自适应，最后通过聚合操作可以得到层最终的输出特征图像H'；亲和操作是计算特征图像Q的每一处位置与特征图像K中同行同列像素的相关度关系。

2.根据权利要求1所述的一种基于多尺度和非局部的轻量去雨方法，其特征在于，

将ConvLSTM模块和特征提取模块的输出，与上采样的小尺度特征图像融合，作为精融合网络中步长为1的3×3卷积层的输入；

将三个卷积层输出的特征图像送入重构模块，最终得到残差图像。