[发明专利]一种基于残差保持的人脸超分辨率方法

说明书

技术领域

本发明属于图像处理（图像恢复）领域，针对低质量监控视频中人脸图像恢复的需求，具体涉及一种基于残差保持的人脸超分辨率方法。

背景技术

近年来，随着安防监控系统的快速发展，监控取证在安全防范、犯罪取证等领域发挥着越来越重要的作用，其中人脸图像取证是监控取证的重要关注点之一。然而由于监控录像中，摄像头与目标人脸距离较远、恶劣天气（雨雾等）、光照条件差等原因引起的严重模糊和噪声，监控录像中捕获的人脸图像可用像素极低，图像的恢复、辨识往往受到严重的阻碍。因此，为减少图像噪声、模糊对辨识的干扰，提升低质量图像分辨率，一般采用人脸超分辨率技术来对低质量人脸图像进行高分辨率恢复。

人脸超分辨率技术顾名思义，就是用技术手段从低分辨率人脸图像中恢复出高分辨率人脸图像。人脸超分辨率技术可以大致分为两类：基于重建的方法和基于学习的方法两类。

人脸超分辨率问题是一个解无穷的问题，因为一幅低质量图像可能对应多幅不同高质量图像。基于重建的方法的主要思想就是希望通过加入先验约束缩小求解范围以获得最优高分辨率人脸图像。而基于学习的方法的思想是希望通过统计学习的方法，通过掌握在库的高低分辨率图像对中存在的空间关系，来从低质量的人脸图像恢复出高分辨率的人脸图像。

基于学习的方法中，以下几种较具代表性：2005年，Wang和Tang提出一种基于全局脸的人脸超分辨率方法，通过分别构建高低分辨率子空间，将求得的低分辨率图像在子空间的表达系数投影到高分辨率空间上而获得高分辨率图像。H.Huang提出一种基于局部保持投影的自适应流形学习方法，从局部子流形分析人脸的内在特征，重构出低分辨率图像缺失的高频成分。Xiang Ma提出一种基于块位置的线性权重投影算法，从局部子流形分析人脸的内在特征，重构出低分辨率图像缺失的成分。Ce Liu提出一种人脸图像超分辨率重构的两步法，先根据局部保持投影和径向基函数回归得到全局的人脸图像，再由基于局部重建的方法补偿人脸特征的细节信息。

但是，现有的基于学习的经典方法大多仅按照传统的技术思路学习固定人脸库高低分辨率统计关系，通过对图像各个频段信息统一学习的方法来提高超分辨率恢复效果；在图像细节重建的过程中，高频细节并没有得到较好的利用和重视。该类方法在处理一般人脸超分辨率问题可以得到不错的效果，但是图像质量很低的时候，像素会遭到严重的毁坏混叠，效果并不令人满意。

发明内容

为了解决上述的技术问题，本发明提出了一种鲁棒性的人脸超分辨率方法，在监控环境下人脸图像损毁严重时，能显著提高人脸恢复图像的视觉感受。

本发明所采用的技术方案是：一种基于残差保持的人脸超分辨率方法，其特征在于，包括以下步骤：

步骤1：获得经过眼睛和嘴巴位置对齐的高分辨率人脸样本图像库Y_s，以及与其一一对应的低分辨率人脸样本图像库X_s；

步骤2：将所述的高分辨率人脸样本图像库Y_s的图像和对应的低分辨率人脸样本图像库X_s中的图像进行一一分块，用对应图像具有交叠部分的图像块集来表示Y_s和X_s中的每一对应图像；

步骤3：获取待处理的低分辨率图像x，并采用上述步骤2中图像分块的方法对x分块，得到所述的低分辨率图像x的块域训练集{x_ij}，其中，x_ij表示x处于位置标号为(i,j)的待估计块；

步骤4：取出X_s在(i,j)位置上的所有图像块，做主成分分析，得到低分辨率图像基E和对应低分辨率平均脸c_mean；取出Y_s在(i,j)位置上的所有图像块，做主成分分析，得到高分辨率图像基E_h和对应高分辨率平均脸c_hmean，并基于图像基E和E_h，以及c_mean和c_hmean，对所述的低分辨率图像x的在(i,j)位置上的图像块x_ij进行高频信息重建，获得x_ij的平滑高频成分O_Fij，进而获得{x_ij}的平滑高频成分{O_Fij}；