[发明专利]基于图像滤波和CNN的有雨图像雨条纹去除方法及系统

权利要求书

1.一种基于图像滤波和CNN的有雨图像雨条纹去除方法，其特征在于，包括以下步骤：

S1、建立雨图像数据集，使用雨图像数据集增强方法扩充训练所述雨图像数据集，获取多组图像对，所述图像对包括有雨图像和标签图像，根据所述多组图像对，得到训练集；

S2、利用所述训练集来训练有雨图像雨条纹去除网络，所述有雨图像雨条纹去除网络包含去雨网络以及H-G判别网络；所述有雨图像通过图像滤波得到有雨图像高频部分，将所述有雨图像高频部分输入去雨网络得到去雨图像；

所述去雨网络为全CNN，包括雨条纹图像生成网络、去雨图像生成网络和去雨网络优化；所述雨条纹图像生成网络接收所述有雨图像高频部分，输出雨条纹图像；所述去雨图像生成网络接收所述雨条纹图像和所述有雨图像，输出去雨图像；所述去雨网络优化通过相应的损失函数对所述雨条纹图像生成网络其中的参数进行优化；

所述去雨图像输入H-G判别网络得到判别结果，所述判别结果反馈至所述去雨网络，对所述去雨网络进行综合约束；所述H-G判别网络为全CNN，包括高频特征初提取网络、全局特征初提取网络和特征融合判别网络；所述高频特征初提取网络使用图像滤波获得所述去雨图像和所述标签图像的高频部分；所述全局特征初提取网络对所述去雨图像和所述标签图像进行特征的初步提取；所述特征融合判别网络将高频特征与全局特征进行融合；

S3、将要待处理的有雨图像输入训练好的所述有雨图像雨条纹去除网络，实现雨条纹去除。

2.根据权利要求1所述的一种基于图像滤波和CNN的有雨图像雨条纹去除方法，其特征在于，步骤S1中所述雨图像数据集增强方法具体为：选取一定数量的数据集图片，分别依次读取有雨图像和和对应标签图像，对其进行左右翻转、顺时针旋转90度、裁剪和reshape操作将数据集量扩充至4倍，并根据所得到图像，得到训练集。

3.根据权利要求1所述的一种基于图像滤波和CNN的有雨图像雨条纹去除方法，其特征在于，步骤S2中所述雨条纹图像生成网络包括13个卷积层、2个反卷积层、12个Relu激活函数、1个Tanh激活函数和BN层，同时还添加3个跳跃连接增强每层网络生成的特征图的上下文关联性，以生成更加准确的雨条纹图像。

4.根据权利要求1所述的一种基于图像滤波和CNN的有雨图像雨条纹去除方法，其特征在于，步骤S2中所述损失函数具体包括：像素对像素损失、生成对抗网络的损失、以及结构相似性指数SSIM损失，即将这些损失进行加权作为最终的损失；其中，SSIM损失包含雨条纹SSIM损失和最终生成图像的SSIM损失。

5.根据权利要求1所述的一种基于图像滤波和CNN的有雨图像雨条纹去除方法，其特征在于，步骤S3中所述特征融合判别网络将高频特征与全局特征进行融合具体为：

使用矩阵加法，将高频特征初提取网络的特征图所占权重和全局特征提取网络的特征图所占权重分别设置为0.2和0.8，得到融合特征图；后续网络对所述融合特征图进行进一步特征提取，其最终输出为一个值在0-1之间的矩阵，对图像的不同区域进行分别判别。