[发明专利]一种基于空域组增强机制与长短时记忆网络的图像去雨方法

说明书

本发明提出了一种基于空域组增强机制与长短时记忆网络的图像去雨方法，首先使用膨胀卷积模块提取多尺度的特征信息，并采用空域组增强模块检测条纹信息，然后引入长短时记忆神经网络传播不同阶段深度特征的依赖性关系，最后利用残差密集块提取丰富的局部特征信息来进一步地提升复原图像的质量。本发明方法在图像去雨上有更优的视觉效果，更好地保持了图像的原有信息，进一步解决了在处理含密集雨条纹图像中出现的雨条纹残留，避免图像出现模糊现象，而且该方法在定量指标上超过了目前先进的对比方法。

技术领域

本发明属于图像处理领域，具体涉及一种基于空域组增强机制与长短时记忆网络的图像去雨方法。

背景技术

近年来，人类社会正步入信息化的时代，以数字图像处理技术为基础的计算机视觉对各领域的发展日益重要，例如在智能交通、远程监控、医学研究、遥感成像和军事国防等领域都得到了广泛的应用。统计表明，视觉系统是信息传递的重要媒介，人类经由视觉系统获取的信息多达70％，其中对图像信息的获取、处理及使用尤为重要。计算机视觉是一种由计算机和摄像头来对人类视觉进行模拟的计算机智能化。然而，目前多数计算机视觉系统考虑室内工作或者天气良好的情况居多，恶劣天气拍摄的图像往往被忽略了。

通常，恶劣天气是致使视觉系统所收集到的图像质量下降的一类天气情况。Garg等人根据空气中颗粒物的大小将恶劣天气大致分为静态恶劣天气(如烟、雾和霾等)和动态恶劣天气(如雨、雪等)。静态恶劣天气中大气颗粒物的大小一般为1-10μm，在空中静态漂浮着，此状态下拍摄的图像质量下降，研究学者主要通过提高图像清晰度对静态恶劣天气的图像复原。动态恶劣天气中的大气颗粒物一般是毫米级别、人眼可见的。其中，雨是较为常见的动态天气，雨滴呈随机下落状态，下落时的速度很快，且在空中随机分布，在图像中雨滴主要以雨线的形状出现，易造成图像模糊、细节信息丢失和对比度下降，甚至会出现图像中部分区域被随机遮挡的情况，对图像的视觉效果造成了极大地影响，也降低了计算机视觉处理算法(如图像分割，目标识别，目标检测等)的性能。相对静态天气而言，对动态天气拍摄的图像进行复原通常更加困难，所以当务之急是对这类图像进行复原，最小化雨天天气对图像的影响，以提升户外计算机视觉系统的稳定性和实用性。

发明内容

发明目的：为了克服现有技术的不足，本发明提供一种基于空域组增强机制与长短时记忆网络的单幅图像去雨方法，更好地解决在单幅图像去雨中存在的雨线残留和细节模糊的问题。

技术方案：本发明所述的一种基于空域组增强机制与长短时记忆网络的图像去雨方法，包括以下步骤：

(1)构建基于空域组增强机制与长短时记忆网络的图像去雨网络架构，所述网络架构由膨胀卷积模块、空域组增强模块、长短时记忆循环神经网络及残差密集模块构成；使用膨胀卷积模块得到多尺度的条纹特征信息，并采用空域组增强模块，为每个语义组中的每个空间位置生成一个注意因子来调整每个子特征的重要性，使每个单独的组自主增强学习表达能力，并抑制噪声；所述长短时记忆循环神经网络传播不同阶段的深度特征的依赖性关系；所述残差密集模块由残差网络和密集连接网络构成，提取局部特征信息，并生成残差映射图，估计出图像中的条纹信息，用残差图与输入的条纹图相加得到去条纹图像；

(2)构造损失函数，提升去条纹效果及保留细节信息；

(3)获取不同方向和不同强度雨线的密集雨条纹数据集，并划分为训练集和测试集，对步骤(1)提出的基于空域组增强机制与长短时记忆网络的图像去雨网络架构进行训练。

进一步地，步骤(1)所述的空域组增强模块使用Sigmoid激活函数，残差密集模块使用ReLU激活函数。

进一步地，步骤(1)所述的膨胀卷积模块首先使用3×3的卷积核，通过四个具有不同尺度膨胀因子，分别为1、2、3和4的卷积层将输入图像转变到不同的特征空间；然后连接四个卷积层的输出得到增强的条纹图特征，并将提取的多尺度特征信息作为空域组增强模块的输入。