[发明专利]一种引入注意力机制的人脸图像修复方法

权利要求书

1.一种引入注意力机制的人脸图像修复方法，其特征在于，包括以下步骤：

(1)人脸图像采集，本发明中使用到的数据集来自于CelebA人脸数据集，我们从中随机挑选出40000张人脸图像。

(2)人脸图像划分，将选出的40000张人脸图像按照7比1的比例分成训练集与测试集，两部分中不包含相同的图像，训练集用于训练人脸图像修复模型，测试集用于测试训练好的修复模型的修复效果。

(3)人脸图像预处理，由于CelebA人脸数据集中包含许多背景信息，本发明中对原始CelebA图像进行人脸检测并剪切出人脸区域部分，并将得到的人脸区域部分调整为128×128的人脸图像，得到的人脸图像为本发明中的真实图像；对得到的人脸图像中心区域进行64×64的掩码处理得到缺损图像数据集，用于之后修复模型的训练与测试。

(4)训练修复模型，将经过预处理得到的128×128的人脸图像训练集输入到本发明中的修复模型中进行训练，经过生成器网络与判别器网络之间的对抗训练，不断提升生成器网络拟合样本的能力，保存最终训练好的修复模型。

(5)测试训练好的修复模型，将经过预处理的人脸测试集图像输入训练好的修复模型中，保存生成的修复图像，并从主观视觉感受和客观相似性评价指标两方面与真实图像进行对比，得到的结果代表最终修复模型对缺损人脸图像的修复能力。

2.根据权利要求1所述的一种引入注意力机制的人脸图像修复方法，其特征是：修复模型总体是一个WGAN-GP模型，由生成器网络和判别器网络两部分组成；训练过程中的的目标损失函数由三部分构成，分别为重建损失函数、对抗损失函数和感知损失函数；重建损失函数负责控制修复图像与真实图像在像素级别上保持相似，对抗损失函数负责生成器网络与判别器网络之间的博弈对抗训练，感知对抗损失负责修复图像与真实图像在细节纹理上保持相似性；另外，为了使前景区域与背景信息保持长程关联性，本发明在生成器网络中引入了上下文关注层。

3.根据权利要求2所述的一种引入注意力机制的人脸图像修复方法，其特征是，上下文关注层的工作原理为：

(1)掩码图像进入上下文关注层后，首先将背景区域与前景区域区分开，并将背景区域划分为多个3×3的补丁块。

(2)将大小3×3的背景补丁块整合为3×3的卷积核，并对前景区域进行相应的卷积操作，得到对应的多个重建前景。

(3)通过计算各个重建前景与目标前景区域的内积值得到两者之间的相似性，再通过softmax函数归一化后得到各个背景补丁块在前景区域上对应的注意力得分。

(4)以得到的注意力得分为权值，加权叠加各个重建前景，得到最终背景区域信息对前景区域的重建结果，参与最后图像修复的过程。

4.根据权利要求1所述的一种引入注意力机制的人脸图像修复方法，其特征是，所述步骤(5)具体为：将经过预处理的测试人脸图像数据集输入到训练好的修复模型中，得到生成的修复人脸图像并保存，将生成的修复人脸图像与真实图像做对比，并计算两者之间的均方误差MSE、峰值信噪比PSNR以及平均结构相似性MSSIM，结合主观评价以及三个客观评价指标，评估修复模型的修复能力。