[发明专利]基于部分到整体注意力机制的多层次图像修复方法

说明书

本发明属于数字图像智能处理技术领域，具体为一种基于部分到整体注意力机制的多层次图像修复方法。图像修复是指利用算法来替换和生成丢失或缺损的图像数据。本发明方法包括：一种多层次的深度卷积神经网络生成器结构；一个部分到整体的注意力机制卷积层，分别集成到网络的生成器和判别器中。在网络的训练过程中引入了图像块判别器和重构损失、感知损失、风格损失、对抗损失四种损失函数来辅助生成器学习图像修复任务。实验结果表明，本发明可以生成细节逼真且整体结构合理的修复图像，有效解决图像修复问题。

技术领域

本发明属于数字图像智能处理技术领域，涉及一种图像修复方法，更具体的说，涉及一种基于部分到整体注意力机制的多层次图像修复方法。

背景技术

随着人们用来存储信息的介质的改变，图像修复这一任务的定义也在相应地发生变化，从文艺复兴时期对受损的壁画的修复，到早些年对老化的纸质照片的修复，再到目前对计算机上储存的数字图片的处理。需要强调的是，图像修复的应用已经不仅仅局限于“修复”这一功能，除此以外，现在的修复技术还可以应用在物体去除、去水印、去遮挡、人脸祛痘、磨皮等场景。

早期的图像修复技术从其针对的待修复区域大小出发，主要分为两类：基于信息扩散的方法和基于图像块匹配的方法。基于信息扩散的方法采用迭代补全的思路，每一步迭代将图像的信息沿着等照度线方向向缺失区域内传播，从而将信息从缺失区域的边界逐步扩散到缺失区域内。这种方法只适用于处理细小的缺失区域，例如斑点、划痕等。基于图像块匹配的方法可以处理图像中规模较大的缺失区域，其核心思想是通过图像特征来进行图像块的配对和替换。然而，这种方法假设缺失区域的内容可以在背景区域内找到，但这并不总是成立的。除此以外，上述所有早期的传统修复技术都无法理解图像的结构等高层次语义信息，且无法生成新的、独特的图像内容。

近年来，卷积神经网络(CNN)的发展为计算机视觉领域带来了新的突破，由此也产生了一系列基于深度学习技术的图像修复算法。这些算法克服了传统算法的不足，可以生成视觉上较为真实且整体结构一致的修复结果。特别地，由于图像修复是一种生成任务，所以可以很好地运用生成对抗网络(GenerativeAdversarialNetworks，GANs)^[1]。GAN是一种特殊的深度卷积神经网络，它包括一个生成器用于生成图像、一个可学习的判别器用于判断生成的图像是否是真实的。

对目前已有的网络来说，其生成器多采用类似U-Net^[2]的网络结构，这种结构最早被用在医疗图像分割中，且取得了较好的效果。其中，跳跃连接是U-Net的关键部件，可以整合不同层次的图像信息。然而，Yu等人指出^[3]，将跳跃连接用于中心大规模缺失区域的修复无法得到理想的效果，原因是中心缺失区域在跳跃连接中无法传递有价值的纹理、颜色等信息。

此外，注意力机制的应用也使得图像修复网络可以对图像中的长距离相关性进行建模。Yu等人提出了一种上下文注意力模块(Contextual Attention，简称CA)^[4]，可以较好地利用背景区域中的已有信息进行修复。然而，这种方法过度关注对已有信息的利用，忽略了缺失区域内部的语义连续性，因此可能产生视觉上不合理的修复结果。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种产生真实、自然的修复结果的基于部分到整体注意力机制的多层次图像修复方法。

本发明提供的基于部分到整体注意力机制的多层次图像修复方法，主要针对图像中心正方形缺失场景进行修复，其中缺失区域占整体图像大小的25％左右；本发明首先构建一个多层次的深度卷积神经网络生成器，然后将所提出的部分到整体注意力层分别集成到生成器和判别器中，同时引入重构损失、感知损失、风格损失、对抗损失四种损失函数来约束网络的训练；最后利用训练的多层次的深度卷积神经网络生成器，得到修复的图像。本发明提出的修复方法可以产生真实、自然的修复结果。

本发明提供的基于部分到整体注意力机制的多层次图像修复方法，具体步骤包括：