[发明专利]一种引入注意力机制的人脸图像修复方法

说明书

本发明涉及一种引入注意力机制的人脸图像修复方法，该方法包括：(1)获取原始数据集并进行图像预处理，得到我们需要的人脸图像数据集并合理划分整理为测试集与数据集。(2)将训练数据集输入到引入上下文关注层的图像修复模型中进行训练，该模型在生成器网络中引入了两个并行的编码器网络，一个编码器网络用于进行卷积操作提取高级特征图像，另一个编码器用于引入上下文关注层网络，用于实现前景区域与背景区域之间的长程关联。(3)将测试数据集输入到训练好的人脸修复模型中，测试训练好的修复模型对于缺损人脸图像的修复能力。本发明中引入上下文关注层后，解决了卷积神经网络由于感受野大小有限导致修复模型无法充分利用背景区域信息的问题，实现了背景信息与前景区域的长程关联，充分利用了背景区域信息对前景区域进行填充。引入上下文关注层后，修复模型在一些细节纹理上取得了更好的修复效果，总体上也提升了人脸图像的修复效果。

技术领域

本发明有关于图像修复领域，具体涉及一种引入注意力机制的人脸图像修复方法。

背景技术

信息化时代的到来使得数字图像信息成为人们相互之间进行信息传递的主要方式，海量的图像信息在获取、压缩、传输等过程中难免会出现部分信息丢失的问题，最大程度的恢复缺损图像丢失的信息，在许多领域都有重大意义。传统的图像修复方法主要可以分为基于结构和基于纹理两大类，它们在小尺度信息丢失的情况下能取得比较好的修复效果，但缺损面积变大，其修复效果急剧下降。深度学习方法的出现，尤其是生成对抗网络与深度卷积神经网络的出现，使得我们可以在更大面积缺损的图像修复上取得较好的效果，并且修复的方式更加智能化，这是传统的图像修复方法无法比拟的。人脸图像的修复在许多领域也有比较重要的价值，尤其是在公安刑侦领域，一种高效智能的修复算法能够很大程度上减轻刑侦人员的工作任务。

发明内容

基于WGAN-GP的修复模型对于图像修复的过程可以分为编码阶段和解码阶段。在编码阶段，修复模型利用卷积神经网络下采样的方式不断提取缺损图像的特征图像；在解码阶段，利用卷积神经网络进行对应的上采样，将编码得到的特征图像恢复为人脸图像。但由于卷积神经网络感受野大小有限，无法实现前景区域与背景区域之间的长程关联，这限制了模型的修复效果。为了增强前景区域与背景区域之间的关联性，本发明在修复模型中引入了注意力机制，通过引入一种上下文关注层的方式加强了前景区域与背景区域之间的关联，提升了模型的整体修复效果。

为了实现引入注意力机制的人脸图像修复方法，本发明提出方法具体步骤如下：

(1)人脸图像采集，本发明中使用到的数据集来自于CelebA人脸数据集，我们从中随机挑选出40000张人脸图像。

(2)人脸图像划分，将选出的40000张人脸图像按照7比1的比例分成训练集与测试集，两部分中不包含相同的图像，训练集用于训练人脸图像修复模型，测试集用于测试训练好的修复模型的修复效果。

(3)人脸图像预处理，由于CelebA人脸数据集中包含许多背景信息，本发明中对原始CelebA图像进行人脸检测并剪切出人脸区域部分，并将得到的人脸区域部分调整为128×128的人脸图像，得到的人脸图像为本发明中的真实图像。对得到的人脸图像中心区域进行64×64的掩码处理得到缺损图像数据集，用于之后修复模型的训练与测试。

(4)训练修复模型，将经过预处理得到的128×128的人脸图像训练集输入到本发明中的修复模型中进行训练，经过生成器网络与判别器网络之间的对抗训练，不断提升生成器网络拟合样本的能力，保存最终训练好的修复模型。

(5)测试训练好的修复模型，将经过预处理的人脸测试集图像输入训练好的修复模型中，保存生成的修复图像，并从主观视觉感受和客观相似性评价指标两方面与真实图像进行对比，得到的结果代表最终修复模型对缺损人脸图像的修复能力。

所述步骤(4)中图像修复模型总体上是一个生成对抗网络，其结构如图1所示，主要是通过生成器网络与判别器网络相互之间进行博弈对抗训练，不断提升生成器网络拟合数据的能力。