[发明专利]基于自注意力的深度生成式对抗网络的人脸图像补全方法

摘要

本发明提供了一种基于自注意力的深度生成式对抗网络的人脸图像补全方法，其包括如下步骤：构建包括注意力循环神经网络模块、生成器网络和判别器网络的人脸图像补全模型；数据采集：收集海量人脸图像形成图像集，并将所述图像集分为训练集和测试集；图像预处理，使其大小适合在深度学习网络中进行处理；构造作为模型输入的破损人脸图像；训练模型：利用GAN框架结合多种正则化手段，直接端到端地同时训练生成器网络和判别器网络，当二者达到理论上的纳什平衡时，则模型训练完成；训练模型。与相关技术相比，本发明的基于自注意力的深度生成式对抗网络的人脸图像补全方法补全得到的人脸图像质量更好。

主权项

1.一种基于自注意力的深度生成式对抗网络的人脸图像补全方法，其特征在于，包括如下步骤：步骤S0，构建模型：构建包括注意力循环神经网络模块、生成器网络和判别器网络的人脸图像补全模型；步骤S1，数据采集：收集海量人脸图像形成图像集，并将所述图像集分为训练集和测试集，其中训练集占98％，测试集占2％；步骤S2，图像预处理：从训练集中随机选取人脸图像并对图像预处理，使其大小适合在深度学习网络中进行处理；步骤S3，构造作为模型输入的破损人脸图像：随机生成缺失区域块，并得到对应标记矩阵M和破损人脸图像作为模型输入图像，其中i为所得到的破损/残缺图像，I_gt是训练集中的完整图像，M是和图像一样大小的标记矩阵，元素由0和1组成，1代表破损/缺失像素，0代表良好像素；步骤S4，训练模型：利用GAN框架结合多种正则化手段，直接端到端地同时训练生成器网络和判别器网络，具体为：将破损人脸图像读入内存形成多维数组或张量送入生成器网络和判别器网络，由生成器网络和判别器网络目标函数驱动整个模型进行反向传播训练，当二者达到理论上的纳什平衡时，生成器网络生成的图像也即最终的补全图像会使判别器网络无法分辨是否来自训练集样本，判别器网络输出数值接近为1/2，则模型训练完成；步骤S5，测试模型：将测试图片输入到训练好的人脸图像补全模型中，输出并拼接所得最后修复图片。