[发明专利]一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法

说明书

一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法属于数字图像/视频信号处理领域，首先设计了人脸细节信息增强的处理流程；然后根据此流程进行网络结构的设计，LR图像通过该网络得到HR图像；最后，HR图像通过人脸识别网络进行人脸验证准确性评估。本发明可完成含有LR人脸图像细节信息的增强，并提升人脸验证的准确性；其次，本发明的生成网络先完成图像高频信息的补偿，再由亚像素卷积完成图像放大，最后级联结构完成图像逐步放大，完成图像细节信息增强；属性约束模块与感知模块、对抗模型协同训练，一起微调生成网络重建图像的性能；最后，本发明将生成网络的重建图像输入人脸验证网络，人脸验证的准确性有所提升。

技术领域

本发明属于数字图像/视频信号处理领域，特别涉及一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法。

背景技术

随着多媒体技术的快速发展和广泛应用，高质量的图像和视频越来越具有应用价值。在视频监控中，人脸是最重要的对象之一。然而，受采集距离、环境光照、压缩失真等各种因素的影响，视频监控等应用中的人脸图像往往是模糊不清、低分辨率的低质量图像，严重影响后续智能化人脸分析技术的应用。现有方法多采用基于深度学习的图像超分辨率复原方法改善低分辨率图像的图像质量，但是，这些方法多以提高图像主观质量或像素差PSNR为目标，难以有效提高人脸图像的机器识别率。因此，针对缺乏细节信息的人脸图像，研究面向识别的人脸可鉴别细节信息增强技术，具有重要的理论意义和实际应用价值。

近年来，基于深度学习的图像复原技术受到了人们的关注，这类图像复原方法避免了传统方法的手工设计特征的过程，仅通过卷积神经网络CNN(Convolutional NeuralNetwork)端对端学习图像层级特征，得到低分辨率图像LR(Low Resolution)与高分辨率图像HR(High Resolution)的映射关系。人脸图像具有极强的结构性，在小尺寸(26×26像素)图像低倍数(×2倍)放大的情况下，CNN的图像复原方法会得到较好的结果，恢复了重要的高频纹理信息。然而，当图像的放大倍数(×4倍)或可用的输入图像较小的情况下，图像复原的结果过于平滑，缺失重要的高频细节，失去人脸图像细节上的真实感。

现有图像复原算法主要围绕人脸结构特征、人脸鲁棒特征提取及人脸局部与全局特征相结合等方法开展研究。在人脸结构特征的方法中，首先检测LR人脸图像的眼睛、鼻子和嘴等；然后，经对齐处理后的LR人的结构特征作为学习对象构建人脸超分辨率重建算法；最后拼接而成重建图像。该方法实现了不同姿势下的人脸超分辨率复原，但是它依赖于训练样本几何位置准确配准，计算复杂度较高。另外，该方法仅完成LR人脸的初步放大，尚未考虑LR人脸细节信息的增强。在人脸鲁棒特征提取的方法中，该方法先采用CNN网络学习LR人脸的鲁棒特征；再将二者输入双通道全连接网络，一起学习获得图像高频信息和线性组合系数最后，由插值放大的LR图像与高频信息线性组合而成重建图像。该方法对模糊的LR人脸图像取得了较好的重建效果，但是其重建过程较多，算法计算量较大。在待重建人脸图像尺寸较小且图像质量较差时，该方法的有效性将受到制约。在人脸局部与全局特征相结合的方法中，首先，由反卷积网络获得LR图像放大后的轮廓；然后，由全连接编码网络获得人脸全局信息；最后，将人脸轮廓与全局信息融合，经过全连接网络处理后得到重建人脸图像。该方法充分考虑了人脸图像细节信息的增强，并获得了较好的效果。但是，针对含表情的LR人脸图像，该方法仅恢复了人脸图像部分细节信息，且人脸五官存在变形。

以上人脸图像复原方法为LR人脸图像细节信息增强带来启示，同时仍有一些问题有待解决。由于基于CNN图像复原方法学习能力受限，当小尺寸人脸图像高倍数图像放大时，这些方法未能较好的增强人脸细节信息，与真实的高分辨率人脸图像差距较大；此外，这些方法缺乏人脸属性信息的约束，对重建图像的质量、人脸验证的准确性造成影响。

发明内容

本发明的目的在于克服现有技术的不足，针对LR人脸图像细节信息丢失及人脸验证准确率低的问题，提供一个基于人脸属性约束的生成对抗网络。这个网络不仅能完成低分辨率人脸图像细节信息增强，还能改善低分辨率人脸验证的准确性。