[发明专利]一种基于端到端神经网络的单幅图像去雨方法

说明书

本发明提供了一种基于端到端神经网络的单幅图像去雨方法，包括如下步骤：S1、构建神经网络模型；S2、设计损失函数；S3、利用有雨图像和无雨图像对进行神经网络模型的训练，得到神经网络模型的模型参数；S4、在神经网络模型中导入步骤S3训练好的模型参数，输入有雨图像，在损失函数中加入基于对比感知的正则化约束项，输出无雨图像。本发明提出了一种基于端到端神经网络的单幅图像去雨方法，设计了一种融合图卷积网络和注意力卷积网络的基本模块，用于提取图像的全局和局部特征，并在损失函数中加入了基于对比感知的正则化约束项，取得了较好的去雨效果。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于端到端神经网络的单幅图像去雨方法。

背景技术

降雨是一种常见的自然现象，基于视觉的目标检测、目标分割等应用通常假设环境良好，图像中的雨点极易对这些应用产生干扰，因此，图像去雨具备较高的应用价值。

发明内容

本发明要解决的技术问题是提供一种基于端到端神经网络的单幅图像去雨方法，设计了一种融合图卷积网络和注意力卷积网络的基本模块，用于提取图像的全局和局部特征，并在损失函数中加入了基于对比感知的正则化约束项，取得了较好的去雨效果。

为解决上述技术问题，本发明的实施例提供一种基于端到端神经网络的单幅图像去雨方法，包括如下步骤：

S1、构建基于端到端的图像去雨网络模型：由一个3×3卷积层、两个下采样层、若干个基本模块、两个可变卷积层、两个上采样层和一个3×3卷积层构成；

S2、设计损失函数：由L1距离函数和对比感知的正则化约束项构成；

S3、利用有雨图像和无雨图像对进行神经网络模型的训练，得到神经网络模型的模型参数；

S4、在神经网络模型中导入步骤S3训练好的模型参数，输入有雨图像，输出得到无雨图像。

其中，步骤S1中下采样层和上采样层之间进行短连接，基础模块的头尾之间进行短连接。

其中，所述短连接的方法为：低层输出F_l和高层输出F_h进行级联F＝[F_l,F_h]，然后再经过一个1×1卷积层处理。

其中，所述基本模块由图卷积网络和注意力卷积网络组成，其输入特征F_in经过空间图卷积网络(sGCN)、若干个注意力卷积网络(CAM)和一个通道图卷积网络(cGCN)提取全局特征和局部特征后，通过短连接将特征从低层网络引入高层网络，得到输出特征F_out。

其中，所述注意力卷积网络(CAM)由两个空洞卷积层和一个注意力单元(Attention Module,AM)构成，其中，第一层空洞卷积层的空洞卷积参数DF＝1，第二层空洞卷积层的空洞卷积参数DF＝3；

所述注意力卷积网络中加入两个短连接将全局特征和局部特征从低层网络引入高层网络。

进一步，所述注意力单元由空间注意力和像素注意力融合构成，融合步骤如下：

(1)采用全局平均池化处理输入特征：

其中，H_p表示全局平均池化函数，X_c(i,j)表示输入值的c通道位于(i,j)处的值；

(2)池化后的特征通过两个空洞卷积层提取特征，其中，第一个空洞卷积层的空洞卷积参数设置为DF＝1，并采用ReLU激活函数，第二个空洞卷积层的空洞卷积参数设置为DF＝3，并采用sigmoid激活函数，得到CA：

CA＝σ(DConv(δ(DConv(g_c))))；