[发明专利]一种基于GAN网络的图像雨雪痕迹去除方法

说明书

本发明公开了一种基于GAN网络的图像雨雪痕迹去除方法，属于图像处理领域。主要步骤为：1、通过工业摄像机采集无雨雪痕迹的原始图像；2、在原始图像中添加雨雪痕迹的图像样本，得到训练和测试样本图像；3、对样本图像进行裁剪和截取等预处理；4、设计并搭建基于GAN的网络模型；5、将训练数据集输入网络进行训练，得到网络模型参数；6、将测试集中的图像输入到训练好的模型中，生成去除雨雪痕迹后的图像。本发明能在去除图像中的雨雪痕迹的同时保持生成图像的细节纹理质量，可用于有雨有雪图像的清晰化处理。

技术领域

本发明涉及一种图像去雨线去雪花方法，具体设计一种基于生成式对抗网络的单幅图像雨线和雪花去除方法。

技术背景

图像的去雨和去雪是图像预处理的重要方向之一，恶劣的雨雪天气现象往往会遮挡图像的重要目标特征，导致图像的对比度降低、成像模糊，细节信息丢失，从而干扰图像识别或分类等图像处理结果。因此，有必要研究一种有效算法对采集图像进行处理。

现有的图像去雨去雪方法主要分成三类。第一类使用基于导向滤波的图像除雪和除雨算法，从而实现图像中雪痕的去除。第二类使用基于自适应的算法用于图像的去雨。第三类针对除雨的算法使用了基于深度卷积神经网的网络构架，但在除雨效果和图像细节上有待改进，尤其是在图像的细节纹理质量上与原图之间有较大差异，导致除雨除雪之后的图像出现过度平滑的现象。

发明内容

发明目的：为了克服现有技术的不足，本发明提供一种基于GAN网络的图像雨雪痕迹去除方法，该方法在实现图像的去雨去雪的同时，可以提高生成图像的细节纹理质量，解决生成图像亮度以及对比度的变化问题。并在同一框架中实现除雨线和雪花的功能，以应对不同天气条件的影响。

技术方案：本发明所述的基于GAN网络的图像雨雪痕迹去除方法，该方法包括以下步骤：

步骤一、采集雨雪天气下的雨痕和雪花图片，得到GAN网络的训练数据集；

步骤二、构建GAN网络中基于改进的生成式对抗网络生成器，包括了5个卷积层和7个转置卷积层，每个卷积单元包括批标准化和PReLu激活函数层，并使用跳跃连接的方式使整个网络易于收敛和训练；在卷积层之后设置转置卷积层，同样在其中使用批标准化和PRelu激活函数层；整个网络结构中使用了跳跃连接的方式，在最后设置Tanh函数；

步骤三、构建GAN网络中基于改进的生成式对抗网络判别器，包括了5个卷积层，在第2卷积层，第3卷积层，第4卷积层包括了批标准化和PRelu激活函数层；在第1卷积层中使用了PRelu激活函数层；并在最后设置了Sigmoid函数；

步骤四、构造改进的损失函数L约束网络；将训练图像数据集按照批尺寸数量的图像为一批量的大小将数据集平分为若干组输入到网络中，以训练判别器；再由判别器判别生成器生成的图像并计算出损失值，利用梯度下降的原理更新网络中的参数大小，以减少网络的损失；在第一批的图像训练完成之后，输入第二批图像，直到所有图像都被输入数据集中，得到完成一次训练的网络；

步骤五、重复步骤四，直至每张图片均被输入若干次，网络训练结束，得到完成所有训练的网络以及训练所得的权重以及偏置参数值；

步骤六、将训练所的网络参数加载至网络，将需要去雨或去雪的图像输入网络中，即可生成无雨无雪的清晰图像。

进一步，改进的损失函数由改进的感知损失函数和生成器的改进的对抗损失函数组成；感知损失函数计算所使用的特征图以激活层之前的特征图作为计算依据；在生成器的对抗损失函数部分，使用的是相对对抗损失函数，得到生成器的相对对抗损失；使用的损失函数为：