[发明专利]一种面向识别的低分辨率人脸图像超分辨率方法

权利要求书

1.一种面向识别的低分辨率人脸图像超分辨率方法，其特征在于，所述方法包含以下步骤：

Step 1：采集真实降质样本，用于变分自编码网络学习实际环境样本数据的降质分布规律；所述变分自编码网络采用无监督学习策略，包含编码器、解码器两个部分；

Step 2：基于变分自编码网络学习的图像降质规律，通过采样的策略生成随机变量输入到变分自编码的解码网络，生成服从数据降质分布的多样降质样本数据；

Step 3：联合step1采集的真实降质样本和step2生成的多样降质样本构建完备真实降质样本集，并进一步利用完备真实降质样本集构建服从真实数据降质分布的高低样本对；

Step 4：将高低样本对的低分辨率人脸图像输入到人脸图像超分辨率网络，生成超分辨率人脸图像；

Step 5：将高分辨率人脸图像和超分辨率人脸图像分别输入到人脸识别网络，提取人脸的身份表达特征向量作为对应的人脸图像身份表达，进一步将身份表达特征向量解开到角度域和幅度域；

Step 6：计算高分辨率人脸图像和超分辨率人脸图像之间的图像内容损失函数是否到达设计要求，即损失函数降低到某一范围内即符合设计要求；

Step 7:将高分辨率人脸图像和超分辨率图像的身份表达特征解开到角度域，计算身份表达特征之间的角度差异损失是否达到设计要求，即损失函数不在下降即符合设计要求；

Step 8：计算高分辨率人脸图像和超分辨率人脸图像的身份表达特征在幅度域上的损失是否达到设计要求，即损失函数不在下降即符合设计要求；

Step 9：如果达到设计要求，则输出最终训练好的人脸超分辨率网络模型，否则继续提取训练集数据迭代训练；

Step 10：最终得到训练完成的人脸超分辨率网络作为低分辨率人脸超分辨率重建模型，即输入低分辨率人脸图像得到超分辨率人脸图像。

2.根据权利要求1所述的一种面向识别的低分辨率人脸超分辨率方法，其特征在于：

所述Step 1中变分自编码网络中的编码器G由一个卷积操作和4个残差卷积模块组成，每2个残差卷积模块后连接一个平均池化操作来扩大感受野，最后一个平均池化操作连接一个全连接层，输出图像降质隐变量空间表达的参数；解码器与编码器G网络结构相对称，由4个残差卷积模块构成，每2个残差卷积模块后面连接一个上采样模块，最后残差模块连接一个卷积模块和一个sigmoid模块进行图像重构。

3.根据权利要求1所述的一种面向识别的低分辨率人脸超分辨率方法，其特征在于：

所述Step 2中，利用变分自编码学习到的降质分布规律，通过分布采样来进一步扩充服从降质分布的多样降质样本，形成更多更完备的降质表达样本集。

4.根据权利要求1所述的一种面向识别的低分辨率人脸超分辨率方法，其特征在于：

Step 3中构建服从真实数据降质分布的高低样本对的具体实现方式如下，

Step 31，从完备真实降质样本集中随机采样一张降质人脸样本来提供风格信息，具体是通过变分自编码网络中的编码器来提取特定实例的风格参数，然后通过随机采样来构建实例相似风格信息表达z；

Step 32，构建风格迁移网络，所述风格迁移网络包括内容编码器和内容解码器两个部分，通过风格迁移网络对开源的高分辨率人脸样本进行模拟真实低质量人脸降质生成；

Step 33，利用风格迁移网络生成降质样本，与从完备真实降质样本集中随机采样的降质样本输入到判别器网络，计算对抗损失来判别生成降质样本与随机采样的降质样本是否服从同一数据降质分布，通过对抗博弈的学习策略，构建服从真实数据降质分布的高低样本对。