[发明专利]基于自注意力的深度生成式对抗网络的人脸图像补全方法

说明书

本发明提供了一种基于自注意力的深度生成式对抗网络的人脸图像补全方法，其包括如下步骤：构建包括注意力循环神经网络模块、生成器网络和判别器网络的人脸图像补全模型；数据采集：收集海量人脸图像形成图像集，并将所述图像集分为训练集和测试集；图像预处理，使其大小适合在深度学习网络中进行处理；构造作为模型输入的破损人脸图像；训练模型：利用GAN框架结合多种正则化手段，直接端到端地同时训练生成器网络和判别器网络，当二者达到理论上的纳什平衡时，则模型训练完成；训练模型。与相关技术相比，本发明的基于自注意力的深度生成式对抗网络的人脸图像补全方法补全得到的人脸图像质量更好。

技术领域

本发明涉及图像处理与深度学习领域，具体而言，涉及一种基于自注意力的深度生成式对抗网络的人脸图像补全方法。

背景技术

数字图像在网络传输、硬盘保存以及拍摄不当等时，容易造成图像不全，部分残缺或损毁等情况，所以图像补全技术可大量应用于文物样貌恢复、破损或部分污染的照片的修复、影视特技制作、图像中文本、水印、障碍物或特定物体的剔除等等方面。但是目前主流图像修补的方案仅仅通过图像搜索、匹配、滤波等传统方法进行补全，此类方案的核心就是利用图像本身的冗余性，基于patch-based图像合成，已成功应用于Photoshop CS5及以后版本中，但更多适用于背景修复任务。此类方法假定缺失块能在背景区域的某个地方找得到，而人脸修复则是更具挑战性的情况，此时涉及到复杂的，非重复的结构的修复，并且这些方法不能抓住待修补图像的高层语义，所以应用在人脸图像时，效果很差。

深度卷积神经网络拥有强大的特征表达能力，并且已经应用到图像修复领域，且取得了一定程度的成功。利用深度神经网络来学习理解图像中的高层语义特征，学习完整人脸图像的像素点概率分布，利用这些特征以及分布来指导图像缺失部分的生成补全。近期，语义图像修复已经转化为图像生成问题，并且在生成式对抗网络(GenerativeAdversarial Network，GAN)框架下得到了良好的解决，成为解决方案中最为活跃的一个分支。

GAN框架利用游戏博弈论中的零和博弈思想构造了生成器网络与判别器网络之间的零和博弈的最小最大化训练方程式(如下方程1所示)，最后达到双方都达到最优的理论收敛目标—生成器网络生成以假乱真的图像，而判别器网络能准确判断图像是否真实。当然，此时判别器网络对生成器网络生成的图像判别输出概率为1/2，即处于无法判断状态，因为此时生成器网络生成的图像与训练集中的真实图像概率分布已经十分接近。

GAN原始框架中，生成器网络的输入是一个一定维度的随机向量，这里的随机向量可看做是满足特有分布规律的对生成端的编码。而人脸图像恢复任务的输入则是一个存在缺失块的人脸图像，所以公式1中的随机向量z不再是从均匀分布之类的特定分布中随机采样所得，而是通过广泛使用的编码-解码器(encoder-decoder)结构中的编码器编码所得，公式1中的生成器网络则为编码解码结果的解码部分。此结构先通过下采样将输入信息进行编码压缩，若使用自动编码解码器结构，则会编码为一个多维向量，本专利中用到的模型为了避免减少信息压缩过程中的空间信息损失，不会压缩为多维向量，而是一个合适大小的张量，之后在解码阶段通过上采样从一个多维向量恢复出完整人脸图像(多维张量)。

GAN原始框架中广泛使用的卷积神经网络(CNN)通过大量训练数据进行学习，隐式即自动地提取特征，避免了传统机器学习显示地特征抽取方式，具有强大的特征提取能力。但是，CNN由于感受野(Receptive Field)范围限制，导致感知全局语义信息十分困难。例如，对于存在缺失或损毁的人脸图像来说，缺失区域的周围像素极有可能与缺失部分有莫大关系，故通过目前的GAN原始框架中广泛使用的卷积神经网络修复出的人脸图像质量不高。

因此，有必要提供一种新的基于自注意力的深度生成式对抗网络的人脸图像补全方法来解决上述问题。

发明内容