[发明专利]一种基于嵌套U型网络结构的图像去模糊方法

权利要求书

1.一种基于嵌套U型网络结构的图像去模糊方法，其特征在于，包括以下步骤：

(1)准备数据，包括模糊图像和标签图像；搭建生成对抗网络模型并设置参数；其中标签图像为未经模糊退化的清晰图像，生成对抗网络模型包括生成网络和判别网络两个子网络；

(2)设置生成网络和判别网络的网络结构框架；生成网络的网络结构框架采用U型网络结构，生成网络包括编码器和解码器两部分，编码器用以下采样并提取输入图像中有用的细节特征进行编码，解码器用于上采样并解码输入图像；其中，编码器和解码器又分别包括若干个独立的U型网络结构，每一水平的编码器和解码器保持相同的分辨率，所述编码器和解码器用于学习重建生成图像的特征；具体的：

将模糊图像送入生成网络中，在生成网络优化训练过程中，对生成网络增加语义目标损失函数和结构目标损失函数的约束，使得生成图像具有和标签图像一致的语义及结构信息；判别网络将判别的结果反馈给生成网络，驱使生成网络能够生成图像结构较为完整的图像；生成网络根据判别网络的反馈更新生成网络的参数进入下一次的迭代训练，生成网络和判别网络以上述描述的方式不断竞争训练，直到训练使生成对抗网络模型收敛；

(3)设置生成对抗网络模型的目标损失函数：生成网络中的目标损失函数包括图像语义目标损失函数L_content、图像结构重建目标损失函数L_gradient；其中，L_content保证恢复前后的图像能保持相同的语义内容，L_gradient约束生成图像与标签图像，在图像结构方面具有一致性；判别网络中的目标损失函数L_adv，L_adv用于完成生成图像与标签图像的判别，以提升判别网络对图像真假的判别学习能力；

(4)将模糊图像、标签图像输送到生成对抗网络模型中，判别网络用以判别生成图像和标签图像在内容方面的一致性；判别网络将判断得到的结果反馈给生成网络，生成网络和判别网络之间竞争学习，直到达到纳什均衡，生成对抗网络模型收敛；将模糊图像载入到训练收敛的生成网络中，最终得到结构完整的生成图像。

2.根据权利要求1所述的基于嵌套U型网络结构的图像去模糊方法，其特征在于，步骤(3)中，生成对抗网络模型的目标损失函数加权地表示为：

L(G,D)＝βL_content+λL_gradient+αL_adv

其中，β，λ和α分别是L_content，L_gradient和L_adv的权重系数；各约束项的权重系数约束如下：β＝10,λ＝12,α＝1，值越大代表对应部分越重要。

3.根据权利要求1所述一种基于嵌套U型网络结构的图像去模糊方法，其特征在于，生成网络采用一个双层嵌套的U型网络结构，第一层U型网络结构是指由六个阶段的编码器和五个阶段的解码器构成的U型网络结构，六个阶段的编码器包括从上到下依次设置的第一编码器、第二编码器、第三编码器、第四编码器、第五编码器、第六编码器；五个阶段的解码器包括从下到上依次设置的第五解码器、第四解码器、第三解码器、第二解码器、第一解码器；所述第一编码器与第一解码器位于同一水平面，所述第二编码器与第二解码器位于同一水平面，所述第三编码器与第三解码器位于同一水平面，所述第四编码器与第四解码器位于同一水平面，所述第五编码器与第五解码器位于同一水平面；所述第六编码器位于第五编码器与第五解码器的下方中部；

第二层U型网络结构是指每个解码器和编码器内部设置的基于U型网络结构的残差U型模块；所述第一编码器、第二编码器、第三编码器、第四编码器内的残差U型模块的层数依次减少；所述第一解码器、第二解码器、第三解码器、第四解码器内的残差U型模块的层数依次减少；所述第五编码器、第六编码器和第五解码器内均设置有包含膨胀率的残差U型模块；

每个解码器阶段将其输出的特征图进行上采样后与位于其前一水平面的编码器阶段输出的特征图进行融合；最后，第一解码器得到的特征图，经过一个Tanh层和一个卷积层重建得到去模糊图像。