[发明专利]基于级联空洞卷积神经网络的面向单幅图像去雨方法

说明书

本发明属于图像去雨技术领域，提供一种基于级联空洞卷积神经网络的面向单幅图像去雨方法，用于解决雨天下所拍摄的单张图像的复原问题。本发明首先对雨水进行建模，将有雨图像分为雨水区域层、雨水层、背景层；通过级联多路空洞率不同的卷积神经网络对输入图像提取出雨水区域层图像，经卷积得到雨水层图像，再经卷积与输入图像求和得到去雨的背景层图像。级联空洞卷积神经网络有效提取了图像不同尺度的细节，网络采用残差网络结构增加网络深度，避免过拟合问题；在公开数据集上进行了测评实验，实验表明本发明相比单幅图像去雨经典方法在峰值信噪比(PSNR)上能够提升2～8，在图像结构相似度(SSIM)上能够提升0.04～0.22。

技术领域

本发明属于图像去雨技术领域，涉及深度学习在图像去雨中的应用，具体涉及一种基于级联空洞卷积神经网络的面向单幅图像去雨方法。

背景技术

大多数户外视觉系统，例如监视和自主导航，需要对室外场景图像进行准确的特征检测，以便进行系统下一步的处理。在恶劣天气下，通常比如暴雨等天气，图像的内容和颜色经常会发生剧烈变化并与原图像产生较大的差异；这种雨天的图像会导致全局图像对比度和色彩效果的损失，导致许多图像细节丢失。对于严重依赖输入图像质量的计算机视觉系统来说，造成的结果可能是灾难性的，比如对于自动驾驶的视觉系统，在雨天的输入图像很可能造成公路上的目标识别出错，使车辆控制系统做出错误的决策，进而酿成惨祸。针对上述生活中遇到的问题，学术界很早之前就已经对去雨工作进行了研究，但是大部分场景面对的是针对视频的去雨，而面向单幅图像的去雨研究并不多。视频相对图像而言，多了一维时间特征，模型在处理单帧图像时候可以利用周围帧的信息，所以相对面向单幅图像去雨而言，视频去雨更容易一些。

在面向单幅图像的去雨任务上面，主要可以分为两个阶段，以深度学习的兴起为标志，分为传统形态学方法与深度学习去雨方法。传统方法重点放在了雨水形状建模与图像滤波方面，越精细的模型的雨水提取效果越好；深度学习去雨方法将该去雨任务视为一个图像分离任务，先针对雨水条纹进行建模，然后利用卷积神经网络学习雨水条纹的细节特征来进行背景层的提取。Kang L,Lin C等人提出了一种基于单幅图像的雨水清除框架，首先使用双边滤波器将图像分解成低频和高频部分，然后通过执行字典学习和稀疏编码将高频部分分解为“雨分量”和“非雨分量”；该方法可以成功地从图像中抽取雨水成分，同时保留大多数原始图像细节。Li Y,Tan R T等人采用高斯混合模型来进行去雨，并施加额外的梯度稀疏性约束以进一步规范背景；文中通过对雨水建模，将雨水图像分为背景层与雨水层的加和来模拟雨水图像数据，通过最大化高斯混合模型的后验概率分布来抽取雨水层与背景层达到去雨的效果；该算法简单有效且实现效率高。Kim J H,Lee C等人根据雨水形态提出了一种单幅图像的自适应雨条消除算法，文中认为典型的雨条具有细长的椭圆形状和垂直方向；该算法首先通过分析每个像素位置处的椭圆核的旋转角度和纵横比来检测雨条纹区域，然后，通过自适应地选择非局部相邻像素及其权重，对检测到的雨条区域执行非局部均值滤波来去除雨水。除了以上的传统方法外，近年来随着深度学习理论的发展，基于深度学习的去雨方法研究取得了重大发展。Xueyang Fu等人引入了一个名为DerainNet的深度网络架构来消除图像中的雨条纹，利用深度卷积神经网络，直接从数据中学习雨天和干净图像细节层之间的映射关系；通过合成带雨的图像进行训练；与增加网络深度或广度的其他常见策略相比，使用图像处理领域知识来修改目标函数并改善卷积神经网络的大小来减低网络的延迟；此外，通过图像增强来增强卷积神经网络框架，以改善视觉效果。Jiabin Huang等人受残差卷积神经网络结构的启发，通过改变映射形式简化了学习过程，并提出了一个深度细节网络来直接减小从输入到输出的映射范围，使得学习过程更容易。通过关注训练期间的高频细节来使用先验图像知识，这消除了背景干扰并将模型聚焦在图像中的雨结构上。

发明内容

本发明的目的在于提供一种基于级联空洞卷积神经网络的面向单幅图像去雨方法，用于解决雨天下所拍摄的单张图像的复原问题。本发明通过级联多路空洞率不同的卷积神经网络对输入图像提取出雨水区域层图像和雨水层图像，将提取出的图像与输入图像做数据增强得到去雨的背景层图像。