[发明专利]基于图像滤波和CNN的有雨图像雨条纹去除方法及系统

说明书

本发明提供了基于图像滤波和CNN的有雨图像雨条纹去除方法及系统，本发明使用雨图像数据集增强方法扩充训练雨图像数据集，获取多组有雨图像和标签图像，有雨图像通过图像滤波得到有雨图像高频部分，将有雨图像高频部分输入去雨网络得到去雨图像，并添加SSIM损失函数来优化去雨网络；去雨图像输入H‑G判别网络得到判别结果，判别结果反馈至去雨网络进一步提高去雨质量，解决了现有去雨方法精确刻画雨模型较为困难，雨条纹无法去除干净，细节容易丢失等问题。

技术领域

本发明涉及图像处理领域，具体涉及一种基于图像滤波和CNN(卷积神经网络)的有雨图像雨条纹去除方法及系统。

背景技术

视觉图像系统在计算机视觉领域具有重要的应用。但是大部分视觉图像处理系统只考虑在室内或者天气好的理想情况，并未考虑实际环境所带来的影响。视觉图像系统在雨天采集到的图像往往含有雨条纹，这些雨条纹会影响图像的成像质量，从而导致目标检测、大坝监测等视觉图像系统的算法精度下降。因此，为了提高视觉图像系统在雨天的成像质量，对图像进行去雨研究具有十分重要的意义。

现实视觉传感图像系统中往往不一定是连续帧图像，没有先验知识可以利用，因此对于单图像去雨方法进行研究具有更大的实际意义。目前，单图像去雨方法主要包括基于稀疏表示的图像去雨方法、基于字典学习的图像去雨方法和基于高斯混合模型的图像去雨方法。这些主要是基于雨图像模型信息，通过优化算法分离雨层和背景层，从而实现去雨。但精确刻画雨模型较为困难，因此难以将背景图像和雨条纹分开，从而导致雨条纹无法去除干净，同时此类方法普遍存在算法复杂度高等问题。

随着深度学习的快速发展，神经网络作为一种新的方法，在图像处理及计算机视觉领域中发挥着越来越重要的作用。它可以提取图像深层次的特征信息，从而达到更好的去雨效果。近年来，卷积神经网络(Convolutional neural network,CNN)也被应用于图像去雨中，它能够直接学习输入和输出之间的非线性映射关系，去雨质量得到显著提升。

发明内容

本发明要解决的技术问题在于，针对上述目前现有的单图像去雨方法仍存在精确刻画雨模型较为困难，难以将背景图像和雨条纹分开导致雨条纹无法去除干净，同时现有方法普遍存在算法复杂度高的技术问题，提供了基于图像滤波和CNN的有雨图像雨条纹去除方法及系统解决上述技术缺陷。

本发明为解决其技术问题，所提供的一种基于图像滤波和CNN的有雨图像雨条纹去除方法包括以下步骤：

S1、建立雨图像数据集，使用雨图像数据集增强方法扩充训练所述雨图像数据集，获取多组图像对，所述图像对包括有雨图像和标签图像，根据所述多组图像对，得到训练集；

S2、利用所述训练集来训练有雨图像雨条纹去除网络，所述有雨图像雨条纹去除网络包含去雨网络以及H-G判别网络；所述有雨图像通过图像滤波得到有雨图像高频部分，将所述有雨图像高频部分输入去雨网络得到去雨图像；

所述去雨网络为全CNN，包括雨条纹图像生成网络、去雨图像生成网络和去雨网络优化；所述雨条纹图像生成网络接收所述有雨图像高频部分，输出雨条纹图像；所述去雨图像生成网络接收所述雨条纹图像和所述有雨图像，输出去雨图像；所述去雨网络优化通过相应的损失函数对所述雨条纹图像生成网络其中的参数进行优化；

所述去雨图像输入H-G判别网络得到判别结果，所述判别结果反馈至所述去雨网络，对所述去雨网络进行综合约束；所述H-G判别网络为全CNN，包括高频特征初提取网络、全局特征初提取网络和特征融合判别网络；所述高频特征初提取网络使用图像滤波获得所述去雨图像和所述标签图像的高频部分；所述全局特征初提取网络对所述去雨图像和所述标签图像进行特征的初步提取；所述特征融合判别网络将高频特征与全局特征进行融合；

S3、将要待处理的有雨图像输入训练好的所述有雨图像雨条纹去除网络，实现雨条纹去除。