[发明专利]基于Retinex理论的端到端网络的图像去雾方法

权利要求书

1.一种基于Retinex理论的端到端网络的图像去雾方法，其特征在于，建立去雾网络，然后，将Retinex模型嵌入去雾网络中实现端到端的学习，从有雾图像中提取特征信息来估计亮度图和反射图，进而根据式(1)恢复出清晰图像：

S＝L×R                        (1)

式(1)中，S为清晰图像，L为清晰图像的亮度图，R为清晰图像的反射图，×表示点乘操作；

所述去雾网络的结构如下：该去雾网络包括亮度图估计子网络、反射图估计子网络、利用Retinex模型进行图像复原，具体内容如下：

1)亮度图估计子网络：

所述亮度图估计子网络采用级联的残差密集网络结构，包含五个卷积层和五个密集残差块；

第一和第二个卷积层分别为cov1，cov2，卷积核的大小均为3*3，步长均为1，padding均设置为1，输出通道数均为64，第二个卷积层后面紧跟一个RELU激活函数；

第三个卷积层cov3的卷积核大小为3*3，步长为2，padding设置为1；

所述第三个卷积层cov3后面依次是五个密集残差块，五个密集残差块分别记为RDB1，RDB2，RDB3，RDB4，RDB5；每个密集残差块的结构相同，均包含依次接着的四个卷积层，其中，前三个卷积层的卷积核的大小均为3*3，步长均为1，padding均设置为1，输出通道数均设置为16，每个卷积层后均紧跟一个RELU激活函数，最后一个卷积层的卷积核大小为1*1，步长为1，padding设置为0，输出的通道数为16；

五个密集残差块中的最后一个卷积层后紧接着一个反卷积层decov1和卷积层cov4，反卷积层decov1的卷积核大小为3*3，步长为2，padding设置为1，卷积层cov4的卷积核大小为1*1，步长为1，padding设置为0；

通过该亮度图估计子网络生成无雾图像的亮度图

2)反射图估计子网络：

所述反射图估计子网络采用Unet结构，包含特征提取部分和上采样部分；

特征提取部分包含四个尺度，前三个尺度上均包含两个卷积层和一个最大池化层，卷积层的卷积核均为3*3，步长均为1，padding均设置为1，输出通道数分别为64、128和256，最大池化层的核的大小均设置为2*2；第四个尺度上包含两个卷积层，卷积核的大小均为3*3，步长均为1，padding均设置为1，输出通道数为512；

上采样部分包含三个尺度，每次上采样得到的特征图与特征提取部分相同尺度的特征图进行堆叠，作为该尺度上的特征输入；所述特征提取部分的第四个尺度的输出经上采样操作得到的特征图作为该上采样部分的输入；

上采样部分的前两个尺度上包含一个反卷积层和两个卷积层，反卷积层的卷积核的大小均为3*3，步长均为2，padding均设置为1，输出通道数分别为256和128；两个卷积层的卷积核的大小均为3*3，步长均为1，padding均设置为1，输出通道数分别为256和128；

上采样部分的最后一个尺度包含三个卷积层，卷积核的大小分别为3*3、3*3和1*1，步长均为1，padding设置为1、1和0，输出通道数分别为64、64和3；

通过该反射图估计子网络生成无雾图像的反射图

3)利用Retinex模型进行图像复原：

根据步骤1)和2)利用从有雾图像中提取特征信息生成得到的无雾图像的亮度图和无雾图像的反射图代入Retinex模型，即将亮度图和反射图进行点乘操作，得到恢复的无雾图像

2.根据权利要求1所述的基于Retinex理论的端到端网络的图像去雾方法，其特征在于，训练所述去雾网络，包括：

从公共数据集RESIDE的训练集中选取其中的20-50％的室外清晰图像及其对应的有雾图像作为室外有雾图像的训练集；从公共数据集RESIDE的训练集中选取80-100％的室内清晰图像及其对应的有雾图像作为室内有雾图像的训练集；从所选取的每幅室外和室内的清晰图像S中均分解出该清晰图像的亮度图L和反射图R；

利用损失函数训练上述去雾网络，损失函数采用平滑L1损失和感知损失，其中平滑L1损失表示为：

其中，

感知损失表示为：

其中，即I∈{S,L,R}；和φ_j(I)分别表示图像和目标图像I对应的VGG16特征图，C_j，H_j和W_j分别表示和φ_j(I)的通道数，高度和宽度；

该去雾网络的平滑L1损失项表示为：

该去雾网络的感知损失项表示为：

总的损失函数表示为：

L＝L_S+λL_P                              (7)

其中，λ为权重因子，该权重因子λ设置为0.4。