[发明专利]一种基于条件生成对抗网络复合降质图像高质量重建方法

说明书

本发明公开了一种基于条件生成对抗网络复合降质图像高质量重建方法，该方法基于条件生成对抗网络对无人机航拍、视频监控、智能交通等户外视觉系统中复合降质图像进行高质量重建，包括整体流程、复合降质图像样本库的建立、网络模型搭建与训练、复合降质图像高质量重建部分。通过条件生成对抗网络对无人机航拍、视频监控、智能交通等户外视觉系统得到的复合降质图像进行统一高质量重建。本发明提出了建立对应清晰‑复合降质图像样本库的方案；采用条件生成对抗网络，建立一种复合降质图像高质量重建方法，可完成存在雾霾、模糊、压缩效应等复合降质图像的统一重建；采用轻型的网络，不仅提高了图像重建速度，也更利于此方法在实践中的应用。

技术领域

本发明属于数字图像处理领域，特别涉及一种基于条件生成对抗网络(cGAN，Conditional Generative Adversarial Nets)的户外视觉系统复合降质图像的高质量重建方法。

背景技术

无人机航拍、视频监控、智能交通等户外视觉系统采集到的图像通常受到雾霾天气、模糊、压缩效应等多种降质因素的影响。这些因素以复杂的方式随机组合，导致图像质量的严重退化，不仅影响人眼的主观视觉效果，而且给户外视觉系统效用的充分发挥带来很大阻碍。

雾霾图像形成的经典大气光散射模型如公式所示，其中I(x)为有雾图像，J(x)为清晰图像，t(x)为透射图t(x)＝e^-ρd(x)(ρ为散射系数d(x)为场景深度)，A为全局大气光。

I(x)＝J(x)t(x)+A(1-t(x))

对于图像大气光散射参数的估计，如果分别估计透射图t(x)和大气光A，重建得到的图像通常包含颜色失真或伪影如附图1所示，因此可将透射图t(x)和大气光A的估计根据公式转化为大气光散射参数K的估计。

图像模糊的通用模型如公式所示，其中g(x)表示模糊图像，f(x)表示清晰图像，q(x)代表模糊核，*表示卷积算子，n(x)代表加性噪声。常见的模糊类型主要有三种，分别为运动模糊、散焦模糊、大气湍流模糊等。

g(x)＝q(x)*f(x)+n(x)

在无人机航拍、视频监控、智能交通等户外视觉系统中，往往需要对所获取的影像进行压缩存储，目前常用的压缩方法可以分为两类：无损压缩和有损压缩。虽然无损压缩方法为用户提供了最佳的视觉体验，但有损压缩方法可以实现更高的压缩比。因此在实际应用中常用有损压缩，而有损压缩图像中常存在伪像、图像块效应等降质现象。

目前，学者们分别针对图像雾霾、模糊、压缩效应等降质因素开展了研究工作，但是这些算法往往只关注于某种特定的单一降质因素，很难对存在多种降质因素的图像进行统一的高质量重建。如附图2所示的是一幅雾霾与压缩两种降质因素共存的低质图像，若对该图像仅进行去雾处理，不仅去雾效果较差，由压缩造成的块效应也会显得异常突出，这使得重建图像的人眼主观视觉感受很差。有学者提出将复合降质图像依次通过针对某种单一降质因素重建系统的处理方法，该方法在理论上可以对复合降质图像进行重建，但是由于多次处理的叠加误差以及未考虑各种降质因素组合的随机性及其相互作用等，重建结果往往并不理想。因此，如何利用统一的框架进行复合降质图像的高质量重建，是无人机航拍等户外视觉采集系统亟待解决的问题。

与传统方法相比，深度神经网络(Deep Neural Network)在图像重建方面取得了较好的效果。尤其是Goodfellow等人在2014年提出的生成对抗网络(GAN，GenerativeAdversarial Networks)，该网络结构如附图3所示，目标函数如公式所示。