[发明专利]一种基于半监督域转换神经网络的图像去雾系统及其方法

说明书

本发明公开了一种基于半监督域转换神经网络的图像去雾系统，1)通过可微结构方法搜索神经网络获得编码单元和解码单元；2)用搜索到的编码器单元搭建合成有雾域编码器E_S(·)和真实有雾域编码器E_R(·)；用搜索到的解码器单元搭建清晰域解码器D_C(·)和真实有雾域解码器D_R(·)；同时，搭建清晰域鉴别器Dis_C(·)和真实有雾域鉴别器Dis_R(·)；3)通过搜索的编码器和解码器搭建半监督域转换框架，4)通过预训练的数据增广网络S2R扩展合成有雾数据生成伪真实有雾域；5)将预训练的去合成雾网络S2C和去真实雾网络R2C融合搭建通用去雾网络G(·)，该系统通过域转换框架实现图像在合成有雾域，真实有雾域，清晰域之间的转换。

技术领域

本发明涉及图像处理技术与机器学习领域，尤其涉及一种基于半监督域转换神经网络的图像去雾系统及其方法。

背景技术

雾霾是一种常见的天气现象。在雾霾天气下，空气中悬浮着大量的由水、灰尘等物质组成的气溶胶颗粒。光线穿过这些气溶胶颗粒时会发生散射，光照强度会衰减，光路会偏折。散射造成的失焦、光照不足会引起成像降质。此外，这些气溶胶颗粒还会对环境光进行散射。由于气溶胶颗粒对不同频率的光线的散射影响不同，所以还会使景物产生一定的色偏。

研究人员提出了大气散射模型^[1]用来描述雾霾天气对成像的影响：

I(x)＝J(x)t(x)+A(1-t(x))

其中I(x)代表雾天观测到的图像，J(x)代表景物无雾状态下的成像，A是全局大气光，x代表像素的坐标。t(x)是图像的传输率，与景物距离镜头的距离有关。

根据大气散射模型利用单幅有雾图像恢复无雾图像是一个病态问题。早期的去雾算法基于一些统计学线索实现求解。例如暗通道先验算法(DCP)^[2]和颜色先验算法(CAP)^[3]，通过先验知识对大气散射模型中的参数进行估计从而求解出无雾图。神经网络拥有强大的表征能力，可以挖掘到很多难以通过人工统计获得的先验知识。Cai等^[4]提出了基于卷积神经网络估计传输率的去雾算法。随后，基于神经网络的去雾算法不断发展，多尺度机制，注意力机制，特征融合等特性被应用到神经网络之中^[5]-[11]。因为难以获得相同场景下成对的有雾图和无雾图，上述基于神经网络的方法均使用大气散射模型生成的合成数据进行有监督训练。然而真实雾的特性远比大气散射模型要复杂，导致这些方法在合成的测试集上有很好的表现，但是在真实场景下的泛化能力偏弱，对于真实有雾图的去雾能力有限。为了提升神经网络在真实有雾图上的去雾表现，研究员们提出无监督或半监督的网络模型。Li等人^[12]提出半监督的去雾网络，可以同时使用合成的成对数据集和真实的非成对数据集进行训练。作为损失函数训练去雾网络。Park等人^[16]将CycleGAN和条件GAN结合训练去雾网络。Shao等人^[17]引入CycleGAN实现合成数据和真实数据之间的域转换，并分别训练了合成图去雾网络和真实图去雾网络。

发明内容

针对现有技术存在的问题，本发明提出一种基于半监督域转换神经网络的图像去雾系统，该系统通过域转换框架实现图像在合成有雾域，真实有雾域，清晰域之间的转换。其中，将合成有雾图像转换为真实有雾域可以生成更接近实际情况的伪真实有雾图像。利用生成的伪真实有雾图像有监督地训练去雾网络，可以提高去雾网络在真实有雾图上的去雾表现，详见下文描述：

为了解决现有技术问题，本发明采用如下技术方案：

一种基于半监督域转换神经网络的图像去雾系统，图像去雾系统包括如下步骤：

1)通过可微结构方法搜索神经网络获得编码单元和解码单元；