[发明专利]一种基于上下文线性模型的人脸超分辨率处理方法及系统

说明书

本发明公开了一种基于上下文线性模型的人脸超分辨率处理方法及系统，通过构建训练库；采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的图像块；对待处理低分辨率人脸图像块，逐一构建毗邻块空间；用目标位置的块的每一个毗邻块，辅助估计出对应的高分辨率块，得到一个高分辨率块集合；通过分别计算待处理低分辨率图像和训练库中低分辨率图像中，目标块与毗邻块的关系，决定在低分辨率库中的权重系数；融合高分辨率估计集合为一个高分辨率估计块；最终拼接高分辨率人脸图像块。本发明可显著提高恢复图像的视觉感受，特别适用于低质量监控环境下人脸图像的恢复。

技术领域

本发明属于图像处理和图像恢复技术领域，具体涉及一种基于上下文线性模型约束的人脸超分辨率处理方法及系统。

背景技术

人脸超分辨率技术是通过辅助训练库，学习高低分辨率对应关系，进而达到从已有的低分辨率人脸图像中估计出高分辨率人脸图像的目的。人脸超分辨率现在被广泛应用于多个领域，其中最具代表性的领域之一就是监控录像中的人脸图像增强。随着监控系统的广泛普及，监控视频在刑事取证和刑侦调查过程中发挥着越来越重要的作用。而人脸图像作为直接证据之一，在案件分析和法庭取证中占据着重要的位置。然而，由于现有条件下，目标嫌疑人与摄像头距离相对较远，捕捉到的监控人脸可用像素非常少，兼之真实情况下由于恶劣天气(例如：雨雾)、光照(例如：光照过强、过暗、明暗不均)、器件等因素对捕获的图像引发的严重损毁(例如：严重的模糊和噪声)，图像恢复、放大和辨识往往受到严重的干扰。这就需要用到人脸超分辨率技术提升图像分辨率，从低分辨率图像恢复到高分辨率图像。

近年来，流形学习逐渐成为了人脸超分辨率的主流方法。这类方法的核心思想是：描述低分辨率图像的流形空间关系，寻找出每个低分辨率图像数据点周围的局部性质，然后将低分辨率图像的流形非线性地映射到高分辨率图像的流形空间中，在高分辨率对应空间上做投影，从而合成高分辨图像。具有代表性的有以下几种方法：2004年，Chang等首次将流形学习法引入图像超分辨率重构中([文献1])，提出了一种邻域嵌入的图像超分辨率重构法。Sung Won Park提出一种基于局部保持投影的自适应流形学习方法([文献2])，从局部子流形分析人脸的内在特征，重构出低分辨率图像缺失的高频成分。2005年，Wang提出一种基于PCA(Principal component analysis，主成分分析)分解的方法([文献3])，把低分辨率待处理图像用低分辨率空间的主成分的线性组合表示，投影系数到对应的高分辨率主成分空间获得最终结果。该方法对早上具有较好的鲁棒性，但是仍然在结果图像的边缘存在鬼影、混叠的现象。2010年，Huang提出基于CCA(Canonical Correlation Analysis)的方法([文献4])，通过将PCA空间延伸至CCA空间，进一步解决了这个问题。同年，Lan针对监控环境下严重的模糊和噪声导致的图像像素损毁严重的问题，提出一种基于形状约束的人脸超分辨率方法([文献5])，在传统PCA架构中添加形状约束作为相似度度量准则，利用人眼睛识别形状时对干扰的鲁棒性来人工添加形状特征点作为约束，优化低质量图像的重建结果。综上所述，现有的这些方法大多仅按照传统的技术思路以图像块本身的子空间信息作为目标学习库进行高低分辨率关系学习，这种一对一的学习过程作为算法基础。只考虑了待处理图像块是处在一个流行空间中的，忽略了所有在库的图像块都是处于流行空间中的情况。因此虽然在处理一般环境下低质量图像的过程中，可以得到不错的效果。但是图像质量很低的时候，像素会遭到严重的毁坏混叠，图像本身的子空间信息因此很容易遭到损坏，用传统方法恢复出来的图像，效果并不令人满意。

[文献1]H.Chang,D.-Y.Yeung,and Y.Xiong,“Super-resolution throughneighbor embedding,”in Proc.IEEE Conf.Comput.Vis.Pattern Recog.,Jul.2004,pp.275–282.