[发明专利]一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法

说明书

一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法，属于数字图像/视频信号处理领域。其特征在于：训练阶段：包括训练样本准备、网络结构设计和网络训练三部分；网络结构设计采用生成对抗网络框架，由生成网络和判别网络两部分构成；生成网络包括人脸属性编解码模块和超分辨率重建模块；判别网络包括属性分类模块、对抗模块和感知模块；网络训练过程采用生成对抗网络框架的生成网络和判别网络交替对抗训练的方式进行；重建阶段：LR人脸图像和属性描述信息作为输入，经过训练好的生成网络，实现图像编码、属性添加、图像解码以及图像重建。本发明技术不仅能完成低分辨率人脸图像面部信息的增强，还能提高低分辨率人脸识别的准确性。

技术领域

本发明属于数字图像/视频信号处理领域，特别涉及一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法。

背景技术

智能视频监控系统对高质量的人脸图像有着广泛的需求。然而，由于采集设备的低分辨率、距离、角度、压缩失真和噪声等复杂因素，使得监控视频中的人脸往往具有低分辨率和低图像质量的特点。低质量人脸图像不仅严重影响人的主观视觉感受，而且严重影响人脸识别等一系列智能化操作。因此，如何提高监控视频下人脸图像的质量是亟待解决的关键问题。

在现有的超分辨率重建技术用于提高监控视频中人脸图像的质量时，由于学习到的多为人脸的共同信息，所以重构后的人脸更接近“平均脸”。虽然在客观的峰值信噪比(PSNR，Peak Signal-to-Noise Ratio)上有所提高，但在大规模极低分辨率人脸图像的超分辨率重建中，很难保留身份信息，难以有效提高人脸图像的机器识别率。

近年来，基于深度学习的卷积神经网络在图像超分辨率中得到了广泛的应用，这类图像复原方法避免了传统方法的手工设计特征的过程，仅通过卷积神经网络CNN(Convolutional Neural Network)端到端地学习图像的层级特征，得到低分辨率图像LR(Low Resolution)与高分辨率图像HR(High Resolution)的映射关系。但是针对于小尺寸(26×26像素)的人脸图像低倍数(×2)放大的情况，神经网络可获取的人脸信息相对较多，因此可以恢复重要的高频纹理信息，能够获得很好的重建效果。然而，当图像的放大倍数(×4或×8)或可用的输入图像尺寸较小(16×16像素或24×24像素)的情况下，图像复原的结果过于平滑，缺失重要的高频细节信息，无法准确地恢复局部属性，失去人脸图像细节上的真实感而且很难被判定为同一个人，这对人脸识别造成不利影响。

人脸超分辨率重建在视频监控领域引起了广泛关注。其中生成对抗网络可以生成类似照片效果的人脸图像。但是，生成模型的原理是按照学习得到的人脸图像概率分布，通过采样生成新样本。因此，由生成模型产生的人脸图像很容易产生实际不存在的人脸。这些方法的目的主要是生成视觉感受很好的人脸图像，但对于极低分辨率的人脸图像，难以重建表现人脸身份的真实属性信息。

人脸属性编辑技术在近期逐渐成熟。因此，充分利用可能额外获取的关于人脸属性的描述信息，辅助低分辨率人脸图像超分辨率重建，有望有效重建人脸的各种个性，从而提高后续的人脸识别率。

本发明利用属性描述信息辅助低分辨率人脸图像重建，可有效提高监控视频中的低质量人脸图像的高质量重建；借助见证人提供的额外人脸属性描述，本发明技术可以恢复出具有清晰面部属性的人脸图像。该技术在安全监控，刑侦调查等领域具有广泛的应用前景。

发明内容

本发明的目的在于克服现有技术的不足，针对LR人脸图像细节信息丢失及重建人脸识别率低的问题，提供一个可利用属性描述信息来帮助人脸超分辨率重建的生成对抗网络。借助人脸的属性描述来恢复低分辨率人脸图像超分辨率重建图像的属性特征，并在主观上体现属性描述在人脸细节重建的有效性。本发明技术不仅能完成低分辨率人脸图像面部信息的增强，还能提高低分辨率人脸识别的准确性。