[发明专利]基于卷积神经网络的联合估计图像去雾方法

说明书

本发明公开了一种单幅图像去雾方法，主要解决现有技术非线性拟合能力受约束和训练繁琐以及适用场景单一的问题。其方案是：在Caffe框架下构建由特征共享部分以及雾图大气光值估计分支和透射率估计分支组成的卷积神经网络；获取一组无雾图像集J，对J进行人工加雾得到有雾图像集I；将I、J按批量大小分别平分为多个配对的图像组，并依次循环输入200000次至神经网络进行训练；将需要去雾的图像I输入至训练完成的神经网络，输出大气光值A和透射率T；根据大气光值A和透射率T计算得到无雾图像J_c。本发明能很好的保持恢复图像的对比度和色彩饱和度，其峰值信噪比和结构相似性两个指标均优于现有技术，可用于有雾图像的清晰化处理。

技术领域

本发明属于图像处理技术领域,特别涉及一种单幅图像去雾方法,可用于成像系统拍摄的单幅有雾图像的清晰化处理。

背景技术

受现实条件中雾霾等恶劣天气的影响，成像设备捕获的图像质量普遍偏低，经常存在对比度低，色调偏移、信息可辨识度低的现象。这些降质的图像不仅影响人眼的主观感受，更严重影响了各类智能视觉信息处理系统的性能。因此，对雾天图像进行清晰化处理具有非常重要的实际应用价值。

目前，基于大气散射模型的图像和视频去雾算法是研究关注的热点，其关键问题是如何估计大气光和透射率。

传统去雾方法通过各种先验假设来提取雾图的特征，然后利用该特征分别设计有效的大气光和透射率估计方法，以实现图像去雾。典型的去雾方法如He等人提出的基于暗通道先验的方法(Dark ChannelPrior，DCP)，见HE K,SUN J,TANG X.Single image hazeremoval using dark channel prior[J].//IEEE transactions on pattern analysisand machine intelligence,2011,33(12):2341–2353.该方法思想简单有效，但在实际应用中，对于包含有大面积天空区域或者较大的白色物体的图像，该方法的去雾效果有限，其恢复图像会产生较严重的色彩失真。

随着深度学习技术的蓬勃发展，基于深度学习的去雾方法逐渐成为当前图像去雾领域的研究热点。早期的去雾方法都是仅利用卷积神经网络CNN来估计透射率，而对于大气光则直接采用传统方法，如He等人提出的基于暗通道先验的方法，是先对大气光值和透射率进行估计，再根据生成雾图的大气散射模型计算得到去雾图像。最早的深度学习去雾网络是Cai等人提出的的DehazeNet网络，见CAI B,XU X,JIA K,et al.Dehazenet:An end-to-end system for single image haze removal[J]//IEEE Transactions on ImageProcessing,2016,25(11):5187–5198.该网络使用合成数据作为训练集，输入有雾的图像块，经由训练好的CNN网络输出对应块的透射率。虽然该方法获得了不错的去雾效果，但由于训练数据只是局部图像块，使得在一些雾图的处理上出现颜色扭曲和去雾不彻底的现象。随后，Ren等人提出MSCNN网络，见REN W,LIU S,ZHANG H,et al.Single imagedehazing via multi-scale convolutional neural networks[C]//Europeanconference on computer vision.2016:154–169.该网络采用整幅图像作为输入，利用多尺度卷积神经网络估计整图的透射率，改善了透射率估计的准确性，获得较高的图像质量，但是该方法仍然存在三方面不足：1)训练数据为基于室内图像的合成雾图，不能准确表征户外雾图的特性；2)在网络结构中pooling层与unpooling层的连接方式导致网络整体感受野较小，导致网络末端单个像素点对输入图像的全局信息学习能力较低；3)对于大气光值的估计该方法仍使用传统方法，其估计不够准确，从而导致恢复图像部分区域存在去雾不彻底以及颜色失真。