[发明专利]一种基于嵌套U型网络结构的图像去模糊方法

说明书

本发明公开一种基于嵌套U型网络结构的图像去模糊方法，包括以下步骤：(1)搭建生成对抗网络模型，设置参数；(2)设置图像语义内容约束项，图像结构重建约束项和判别目标损失函数；(3)生成网络的网络结构框架采用U型网络结构，生成网络包括编码器和解码器两部分(4)对于判别网络，将生成图像和标签图像输入到生成网络中，判别网络用需要对图像内容的真假进行判别；(5)判别网络将判别的结果反馈给生成网络，生成网络根据判别网络的反馈更新网络的参数进入下一次的迭代训练，生成网络和判别网络以上述描述的方式不断竞争训练，直到网络训练收敛；(7)将模糊图像载入到训练收敛的生成网络中，即可得到结构显著的生成图像。

技术领域

本发明属于图像处理、计算机视觉技术领域，具体涉及一种基于嵌套U型网络结构的图像去模糊方法。

背景技术

作为外界客观世界信息记录和传递的载体，图像一直是人类获取和辨别客观世界信息的主要来源和手段。然而，在图像的拍摄过程中会经常发生由相机抖动或物体运动引发的图像模糊问题。由于模糊的图像失去了清晰的结构和丰富的纹理信息，使得人们很难从中获取清晰的内容和精细的信息。因此，如何实现图像去模糊，使其可以更好的应用于高级图像处理(图像检测、图像识别)等领域已经成为了一个研究热点。

针对如何清晰化模糊图像这个问题，人们主要从以下两个方面展开研究：基于传统的方法和基于深度学习的图像去模糊方法。基于传统方法的图像去模糊方法依靠于从图像中手动提取先验或图像的统计信息，并在此基础上建模优化方程，通过迭代求解优化方程得到恢复后的图像。由于传统方法仅在有限的图像上提取先验，因此这类方法只在特定模糊图像上获得较好的去模糊结果，而在其他模糊图像上泛化性较低。此外，迭代求解优化函数需要耗费大量的时间，因而这类方法并不能很好的满足算法对实时性的要求。基于深度学习的图像去模糊问题通过在大量的数据集上提取特征，并在网络模型训练的过程中不断迭代选取更适合图像恢复的权值，从而恢复潜在的标签图像。虽然图像去模糊问题已经取得了一些成绩，但恢复得到的图像并不十分令人满意。例如，一些基于深度学习的方法中存在网络参数过多、网络模型过大的问题，而这无疑对网络训练在硬件配置方面提出了更高的要求；另外一些方法仅适用于合成的模糊图像，在实际的模糊图像中泛化性和鲁棒性较弱。

发明内容

本发明的目的是为了克服现有技术中的不足，通过综合利用对抗生成模型以及结构注意机制，提供一种能够有效减少网络模型大小、满足图像去模糊实时处理需求，解决图像纹理和细节丢失等问题的图像去模糊方法。

本发明的目的是通过以下技术方案实现的：

一种基于嵌套U型网络结构的图像去模糊方法，其特征在于，包括以下步骤：

(1)准备数据，包括模糊图像和标签图像；搭建生成对抗网络模型并设置参数；其中标签图像为未经模糊退化的清晰图像，生成对抗网络模型包括生成网络和判别网络两个子网络；

(2)设置生成网络和判别网络的网络结构框架；生成网络的网络结构框架采用U型网络结构，生成网络包括编码器和解码器两部分，编码器用以下采样并提取输入图像中有用的细节特征进行编码，解码器用于上采样并解码输入图像；其中，编码器和解码器又分别包括若干个独立的U型网络结构，每一水平的编码器和解码器保持相同的分辨率，所述编码器和解码器用于学习重建生成图像的特征；具体的：

将模糊图像送入生成网络中，在生成网络优化训练过程中，对生成网络增加语义目标损失函数和结构目标损失函数的约束，使得生成图像具有和标签图像一致的语义及结构信息；判别网络将判别的结果反馈给生成网络，驱使生成网络能够生成图像结构较为完整的图像；生成网络根据判别网络的反馈更新生成网络的参数进入下一次的迭代训练，生成网络和判别网络以上述描述的方式不断竞争训练，直到训练使生成对抗网络模型收敛；