[发明专利]一种基于参考图像重建的去雾方法

说明书

本发明公开了一种基于参考图像重建的去雾方法。其步骤包括：首先利用深度相机采集不同场景与不同光线的无雾彩色图像与深度图像数据集，进行初步预处理；设置大气光值与透射率，对无雾图像进行合成有雾图像，且对有雾数据集进行降噪预处理；然后选取有雾图像对应内容相似的图像作为参考图像；最后构造端到端的卷积神经网络模型，具体来说，网络分别经历提取雾度特征，移除雾度特征，自适应地迁移参考图像的纹理，重建高分辨率的去雾图像的过程。上述方法与大多数基于端到端深度学习方法不同，它没有结合显示的大气物理模型，而是通过构造去雾网络和引入参考图像，隐式的去除雾度，实现图像去雾的同时增强图像的细节。

技术领域

本发明涉及一种图像处理方法，具体涉及一种基于深度学习的图像去雾方法。

背景技术

雾是由空气中的水滴或者大量微小粒子形成的大气现象。在这种环境下拍摄的图像通常存在颜色失真，对比度严重下降，场景细节丢失等问题。这些问题会严重影响各类依赖于光学成像仪器的系统性能，如，城市交通系统，户外监控系统，目标识别系统等。因此，采取有效的措施去除图像的雾度，恢复图像的清晰度变得越来越有必要。

图像去雾过程是将朦胧的图像作为输入并消除降解效应，最终恢复无雾的图像。目前，对于雾天图像处理的方法主要分为三大类：第一类是基于图像处理的算法。这类算法实质是利用图像处理的方法来改变对比度或者亮度，从而提高了图像的视觉效果。然而，这种方法并不关注图像退化的原因，导致图像去雾并不彻底，图像易失真等问题。第二类是基于图像复原的算法。这类算法是基于大气散射原理，通过求解雾天图像降质过程的逆过程来恢复无雾图像。这类方法复原出来的图像效果真实，更加贴近降质前景物原景，对复杂场景的图像处理效果较好，图像信息得到较完整的保存。第三类是基于深度学习的方法。目前基于深度学习的图像去雾方法的研究非常火热，一些方法基于大气物理模型，一些直接进行学习映射。这些方法能够根据数据观测自动学习复杂的输入输出关系，允许学习人类无法察觉的更复杂的启发式学习。尽管这些方法取得了令人满意的结果，但是它们基于强烈的假设，并且需要与图像形成有关的多种参数，这些参数并不总是可用的。这是由于场景条件的不可预测性，导致它们在前景不真实的情况下失败，例如水下环境，高光或者低光的环境，或者雾霾不完全是白色的场景。

发明内容

（一）发明目的

本发明提出了一种基于参考图像重建的去雾方法，目的是缓解传统去雾方法处理的结果分辨率低，引入过多的参数导致运行效率低的问题。

（二）技术方案

为了实现上述目的，本发明采用如下技术方案：

首先收集与合成有雾图像数据集，对数据集中的图像匹配相似的高分辨率图像作为参考图像，然后构造端到端的卷积神经网络模型，根据有雾图像与参考图像的纹理相似性自适应地迁移参考图像的纹理，实现图像去雾的同时增强图像的细节。

本发明的具体步骤为：

步骤1、制作合成有雾图像数据集和真实有雾图像数据集。

上述步骤1具体包括以下步骤：

1.1)利用深度相机采集不同场景不同亮度的地面真实干净的图像与对应的深度图，共采集5000对数据，采集的场景主要分为室内场景，室外场景，特殊场景的亮度分为高光亮度，低光亮度；

1.2)对采集的成对图像进行预处理，包括对深度图与彩色图像进行对齐和固定大小处理；

1.3)给定无雾图像、场景深度图、大气光照度和大气散射系数，根据公式，计算出传输透射图作为地面真实的传输透射图。根据大气物理模型公式进行有雾图像合成，得到的有雾图像表示为：

 （1）

1.4)利用Google图片在线收集5000张真实有雾图像作为真实有雾图像数据集。