[发明专利]一种基于生成式对抗网络进行图像去运动模糊的方法

说明书

本发明公开一种基于生成式对抗网络进行图像去运动模糊的方法及用于该方法的去运动模糊的生成式对抗网络模型，该方法包括设计生成式对抗网络模型；模型训练；应用阶段，该生成式对抗网络模型包括生成器和判别器，生成器用于不断优化参数以使其生成的图像趋近清晰图像的分布，判别器用于不断优化参数以使其能更好地判别图像来自于去模糊图像分布或清晰图像分布，其中生成器包括降采样器和上采样器，降采样器用于对图像进行卷积操作，提取图像的语义信息，上采样器用于根据获取到的语义信息，结合图像的结构信息，对图像进行解卷积操作。本发明有效地去除图像的运动模糊，获得符合人类感知的清晰图像。

技术领域

本发明涉及生成式对抗网络技术领域，特别涉及一种基于生成式对抗网络进行图像去运动模糊的方法及一种去运动模糊的生成式对抗网络模型。

背景技术

图像去运动模糊技术，即对输入的一张带有运动模糊噪声的图像进行去模糊处理，生成去除模糊噪声后的清晰的图像的技术。图像去运动模糊技术在无人驾驶，公安侦查，媒体处理等领域具有广泛的应用。譬如，在无人驾驶系统中，对捕捉到的，由于相对运动速度较快而带有运动模糊噪声的车辆的图像，通过应用图像去运动模糊技术，使得该车辆的图像变得更加清晰，从而提高车辆等障碍物的识别率，进而有效地提高无人驾驶系统的安全性能。

现有的图像去运动模糊的技术，主要有以下几类：

1)基于能量方程的图像去运动模糊方法[1]。通过构造数据项和正则化项来构建用于求解运动模糊核以及清晰图像的能量方法，然后使用交替优化的迭代算法来最小化该能量方程，并最终得到该图像的运动模糊核以及对应的清晰图像。

2)基于神经网络求解模糊核的图像去运动模糊方法[2][3]。首先训练神经网络，使其可以对输入的一张带有运动模糊噪声的图像，输出其对应的运动模糊核。然后，基于该带有模糊噪声的图像以及神经网络求解得到的模糊核，应用传统的非盲去模糊算法，以此计算生成相应的清晰图像。

3)基于端到端的神经网络的图像去运动模糊方法[4]。利用包含有清晰和模糊图像对的数据集来训练卷积神经网络，使得训练完成的神经网络模型可以根据一张带有运动模糊的图像，生成其对应的清晰图像。已有的图像去运动模糊方法在效率和效果上都存在着较多的不足。

传统的基于能量方程的优化方法，由于求解过程中，需要进行迭代优化，这会带来极大的运算量，影响求解速度。另外，通常情况下，对于一张图像，传统算法只能求解出一个运动模糊核，即假定模糊核是统一的。由于自然条件下直接获取到的带有运动模糊噪声的图像，其模糊核通常都是非统一的。这使得基于能量方程的算法，在面对真实的模糊图像时，处理得到的效果通常差强人意。

基于神经网络求解模糊核的方法，由于其求解得到模糊核之后，仍需要应用传统的能量方程优化算法来求解得到最终的清晰图像，这使得该方法在性能上会受传统非盲去模糊算法的限制。另外，当模糊核求解不正确时，将极大地影响去模糊后图像的质量，神经网络求解的模糊核的准确性，也极大地制约着算法的最终输出效果。

基于端到端的神经网络的方法，由于网络训练过程中，大部分情况下，缺乏结构信息的约束，从而导致生成的清晰图像不够真实，视觉效果较差。

参考文献：

[1]Xu,Li,and Jiaya Jia.Two-phase kernel estimation for robust motiondeblurring.European conference on computer vision.Springer,Berlin,Heidelberg,2010.

[2]Sun,Jian,et al.Learning a convolutional neural network for non-uniform motion blur removal.CVPR.2015.