[发明专利]一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法

权利要求书

1.一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法，包括训练阶段和重建阶段，其特征在于：

训练阶段：包括训练样本准备、网络结构设计和网络训练三部分；网络结构设计采用生成对抗网络框架，由生成网络和判别网络两部分构成；生成网络包括人脸属性编解码模块和超分辨率重建模块；判别网络包括属性分类模块、对抗模块和感知模块；网络训练过程采用生成对抗网络框架的生成网络和判别网络交替对抗训练的方式进行；

重建阶段：LR人脸图像和属性描述信息作为输入，经过训练好的生成网络，实现图像编码、属性添加、图像解码以及图像重建；

其中属性编解码模块包括一个编码模块和一个解码模块，其中编码模块分别有四个卷积层，每个卷积层后面都紧接着一个批量归一化层和一个激活层，解码模块分别有五个反卷积层，前四层反卷积层后面都分别连着一个批量归一化层和ReLu作为激活层，最后一层反卷积层只用了Tanh来作为激活层；

其中超分辨率重建模块由两个以上相同的残差子模块组合而成，每个子模块包括两个残差网络和一个亚像素模块；其中，残差网络由卷积层、批量归一化层和ReLu激活层堆叠而成，并采用跳跃连接将残差网络的输入特征图与输出特征图进行融合，联合学习图像和属性的特征；亚像素模块则由卷积层、亚像素卷积层堆叠而成，亚像素模块对具有该属性的人脸图像进一步放大，重建出高分辨率的人脸图像；

属性分类模块包括特征学习和分类部分；在特征学习的网络结构设计中，使用五层卷积层、层归一化Layer Normalization和Leaky ReLu激活层堆叠而成，之后再接一层全连接层、Layer Normalization层和Leaky ReLU激活层，在分类部分，再接一个全连接层和Softmax层，针对影响人脸识别的重要属性进行分类；

对抗模块也包括特征学习和分类部分；在特征学习部分，对抗模块与属性分类模块的网络参数共享；特征学习部分由卷积层、Layer Normalization层和Leaky ReLu激活层堆叠而成；全连接层前的网络结构作为特征学习部分；分类部分含有一个全局平均池化层和线性层；对抗模块的输入含1/0标签的真假图像，输出为真假图像匹配的概率值；

感知模块分为五个阶段，每个阶段由卷积层、激活层、池化层堆叠而成；感知模块的输入为成对的HR与Ground Truth图像，它们在五个阶段分别进行特征图对比，五个阶段的损失函数组合而成该模块的感知损失函数，用来判断生成图像与真实图像的一致性；

对抗训练过程具体为：

在前向传播的过程中，先将LR人脸图像X输入到生成网络的属性编解码模块，通过一系列下采样编码成一组潜在的特征向量z，然后图像滤波器沿着通道的维度与属性向量e连接；连接而成的向量进一步被送到反卷积层联合学习图像和属性共同的特征，并且在学习特征的过程中，依次通过一系列上采样再解码生成具有该属性的人脸图像Z^e；将含有属性描述信息的人脸图像继续输入生成网络的超分辨率重建模块中，通过卷积层多个卷积滤波器得到LR图像的潜在的特征；然后经过残差网络逐层特征变换得到LR图像的高频信息，将LR图像与其高频信息跳跃连接；再对其进行亚像素卷积放大，恢复出具有相应属性的高分辨率HR人脸图像；

重建出的含有生成属性的HR人脸图像和真实的具有目标属性的人脸图像组成样本对，并分别赋予0和1的标签信息，将样本对输入到判别网络中；在网络训练中，生成网络与判别网络交替训练，判别网络不发生参数更新，仅将判别网络的误差回传给生成网络；

经过反复迭代，当达到预设的最大迭代次数时停止训练，获得图像复原的生成网络；

LR人脸图像和属性描述信息作为输入，经过训练好的图像复原的生成网络，实现图像编码、属性添加、图像解码以及图像放大重建，生成具有相应属性信息的高分辨率重建人脸图像。

2.根据权利要求1所述的方法，其特征在于，训练样本准备具体为：

对高质量人脸训练图像，先进行图像预处理，采用人脸检测、对齐、裁剪以及下采样得到LR人脸图像；先把与人脸识别相关的属性提取出来处理成N维的向量作为初始属性，用来训练的数据集已经标记好了人脸的属性，该属性标签分为1和0两种状态，1表示具有该属性，0表示不具有该属性，再把图像和对应的初始属性进行匹配，最终将图像和初始属性一一对应起来，把目标属性都设为1。