[发明专利]一种基于卷积神经网络的多光谱遥感图像去雾方法

权利要求书

1.一种基于卷积神经网络的多光谱遥感图像去雾方法，其特征在于：该方法包括如下步骤：

步骤1：多光谱图像去雾波段选择

以下针对Landset8 OLI采集的多光谱图像进行去雾，Landset8 OLI图像有9个波段，其中波段6、7、9三个波段的波长是大于1的，可以穿透水粒子，因此这三个波段不受雾的影响；而剩下的6个波段即波段1至5、以及波段8分别是海岸、可见光、近红外以及全色波段，它们的波长是小于1的，会受到雾的影响，因此针对这6个受雾影响的波段进行去雾；

步骤2：建立去雾模型

雾天成像模型可描述为：

I(x)＝J(x)t(x)+A(1-t(x)) (1)

其中，I(x)为有雾图像，J(x)为对应的清晰图像，A是全局大气光，t(x)为透射图，x表示像素；

根据雾天成像模型，去雾图像和原始带雾图像之间为线性关系，令h代表有雾图像，g表示被恢复的清晰图像，函数F代表有雾图像与对应清晰图像之间的映射关系，则去雾问题可以建模为以下形式，即去雾模型：

g＝F(h) (2)

根据公式(1)，一旦获得映射关系F，则给定一个有雾图像h，通过函数关系映射便可得到清晰图像，从而实现图像去雾；

采用一个残差卷积网络来拟合有雾图像到清晰图像之间的映射关系F(h)；具有残差结构的卷积神经网络，其输入不仅传递给卷积层，并且在网络末端与卷积层的输出直接相加，形成最终的网络输出；残差网络中卷积层学习到的模型可描述为：

H(h)＝F(h)-h (3)

由于雾的浓度和分布是多样的，使用具有一个残差结构的网络模型进行雾成分的学习是很困难的，因此，我们把去雾模型(2)进一步分解为以下多个子任务，即多步去雾模型：

g₀＝F₀(h)，g₁＝F₁(g₀)，......，g＝F_n(g_n-1) (4)

其中，每个F_i都是相对于F的弱映射；根据该多步去雾模型，有雾图像h通过一系列的F_i被逐步去雾，最终恢复为清晰图像；相应的，对于每一个子映射F_i，采用具有残差结构的浅层卷积网络来拟合，将这些残差块级联起来组成一个深度卷积网络，实现雾的逐步去除；

步骤3：设计卷积神经网络

根据步骤2中的多步去雾模型(4)，我们设计的网络结构为：

Conv₁(3×3×16)→ResBlock₁(3×3×16)→…→ResBlock_n(3×3×16)→Conv_m(3×3×6)

其中，Conv表示卷积层，ResBlock表示残差块；每个残差块为一个两层的残差卷积结构，即ResBlock(3×3×16)＝[Conv(3×3×16)，Conv(3×3×16)]；

步骤4：训练卷积神经网络

以下仿真生成波长相关的雾作为训练样本来对网络进行训练：

1)训练样本生成

根据雾天成像模型(1)可知，给定一幅清晰图像J，通过调整全局大气光A和透射图t的值，代入到雾天成像模型中即可得到一幅有雾图像；由于多光谱图像各波段的透射图之间具有一定的相关性，为清晰的多光谱图像设置透射图时，不同波段的透射图之间需满足相应的关系；因此，先推导不同波段透射图之间的相关性，然后利用这个相关性来生成波长相关的带雾多光谱图像，即仿真得到有雾图像；

2)网络训练

用上述步骤仿真得到的有雾图像样本对网络进行训练，实现有雾图像到清晰图像之间映射关系的学习；

由于卷积神经网络被用来解决回归问题，网络采用欧式距离作为损失函数：

其中，N为图像个数，为网络的实际输出结果，g_n为真值图像；选择随机梯度下降法来优化该损失函数，用仿真得到的有雾图像对网络进行迭代学习，更新网络参数，当网络的损失值趋于稳定时，即可结束训练，此时保存的网络参数即为训练好的去雾网络模型；

步骤5：多光谱遥感图像去雾

实现一幅多光谱遥感图像去雾，只需将图像输入到步骤4训练好的去雾网络模型中，通过网络的前向传播，即可在网络的输出端得到被恢复的清晰图像；

步骤4中，推导不同波段透射图之间的相关性，具体方法如下：

针对Landset8中6个受雾影响的波段去雾，先取波段1为基准波段，来推导其他5个波段与波段1之间的透射图相关性；

根据雾成像的物理模型，透射图t可描述为：

t(x)＝e^{-β(x，λ)d(x)} (5)

其中，d(x)表示真实场景中的物体到传感器之间的距离，遥感图像中，d(x)可看作是常量；β(x，λ)为衰减系数，反映了光被大气中的粒子散射的程度，与大气中的粒子和波长λ相关；具体地，根据Rayleigh散射模型，衰减系数β可描述为：

其中，参数γ反映了大气中粒子的大小，在雾天情况下，γ的值在[0.5，1]之间；

为了推导不同波段透射图之间的关系，首先对透射图t的表达式两边取自然对数，可得：

lnt＝-dβ (7)

由于d为固定的常量，因此波段1与其他波段之间关于lnt的比率为：

lnt₁：lnt_i＝β₁：β_i (8)

其中t_i和β_i分别是波段i的透射图和衰减系数；进一步变换以上公式可得：

最后，将Rayleigh散射模型(6)代入公式(9)，即可得到波段1与其他波段透射图之间的关系表达式：

其中，λ_i是第i个波段的波长，一般取波段的中间波长即可；γ为Rayleigh散射模型中的参数，取值范围为[0.5，1]，值越大，对应的雾越浓；从(10)可以看出，只要给出基准波段的透射图t₁以及γ的值，其他5个波段的透射图即可通过(10)计算得到。