[发明专利]一种基于空域组增强机制与长短时记忆网络的图像去雨方法

权利要求书

1.一种基于空域组增强机制与长短时记忆网络的图像去雨方法，其特征在于，包括以下步骤：

(1)构建基于空域组增强机制与长短时记忆网络的图像去雨网络架构，所述网络架构由膨胀卷积模块、空域组增强模块、长短时记忆循环神经网络及残差密集模块构成；使用膨胀卷积模块得到多尺度的条纹特征信息，并采用空域组增强模块，为每个语义组中的每个空间位置生成一个注意因子来调整每个子特征的重要性，使每个单独的组自主增强学习表达能力，并抑制噪声；所述长短时记忆循环神经网络传播不同阶段的深度特征的依赖性关系；所述残差密集模块由残差网络和密集连接网络构成，提取局部特征信息，并生成残差映射图，估计出图像中的条纹信息，用残差图与输入的条纹图相加得到去条纹图像；

(2)构造损失函数，提升去条纹效果及保留细节信息；

(3)获取不同方向和不同强度雨线的密集雨条纹数据集，并划分为训练集和测试集，对步骤(1)提出的基于空域组增强机制与长短时记忆网络的图像去雨网络架构进行训练；

步骤(1)所述的空域组增强模块首先将特征映射图按通道维度分为G个组；然后通过空间平均函数并使用全局统计特征去近似该组学习表示的语义向量，表示为：

其中，χ表示该组每个位置都能用一个向量表示，χ'＝{x'_1,...,m},m＝H×W；每组特征x_i在空间上与其全局池化后的特征g做点乘得到初始的注意掩模c_i＝g·x_i；在空间上进行减均值、除标准差处理，表示为：

其中，ε是用于增强数值的稳定性而设置的常数，设置为1e-5；为每个系数c′_i引入了参数γ,β，其缩放和偏移归一化值表示为：a_i＝γc′_i+β，γ、β与G的数量相同，将a_i输入至Sigmoid激活函数，再与原始特征组中每个位置的特征x_i相乘，获得增强特征向量x′_i，来对这些特征进行空间缩放，使其数值规范在0-1之间；

步骤(2)所述损失函数表示为：

其中，s表示去条纹阶段数量，表示网络预测的条纹信息，R_s表示真实条纹信息。

2.根据权利要求1所述的一种基于空域组增强机制与长短时记忆网络的图像去雨方法，其特征在于，步骤(1)所述的空域组增强模块使用Sigmoid激活函数，残差密集模块使用ReLU激活函数。

3.根据权利要求1所述的一种基于空域组增强机制与长短时记忆网络的图像去雨方法，其特征在于，步骤(1)所述的膨胀卷积模块首先使用3×3的卷积核，通过四个具有不同尺度膨胀因子，分别为1、2、3和4的卷积层将输入图像转变到不同的特征空间；然后连接四个卷积层的输出得到增强的条纹图特征，并将提取的多尺度特征信息作为空域组增强模块的输入。

4.根据权利要求1所述的一种基于空域组增强机制与长短时记忆网络的图像去雨方法，其特征在于，步骤(1)中残差密集块有3个，使用3×3的卷积核，通道数、密集层个数和增长率分别设置为32、3和8，卷积层1的核大小设置为1×1，卷积层2的核大小设置为3×3。

5.根据权利要求1所述的一种基于空域组增强机制与长短时记忆网络的图像去雨方法，其特征在于，其特征在于，步骤(1)所述的基于空域组增强机制与长短时记忆网络的图像去雨网络架构，经过六次循环，第二至六次循环的输入由前一循环的输出和原始条纹图拼接后构成。