[发明专利]一种基于自适应训练库的块域人脸超分辨率重建方法

说明书

技术领域

本发明涉及图像处理（主要是图像恢复）领域，针对低质量监控视频中人脸图像恢复的需求，具体涉及一种基于自适应训练库的块域人脸超分辨率重建方法。

背景技术

近年来，随着安防监控系统的快速发展，监控取证在安全防范、犯罪取证等领域发挥着越来越重要的作用，其中人脸图像取证是监控取证的重要关注点之一。然而由于监控录像中，摄像头与目标人脸距离较远、恶劣天气（雨雾等）、光照条件差等原因引起的严重模糊和噪声，监控录像中捕获的人脸图像可用像素极低，图像的恢复、辨识往往受到严重的阻碍。因此，为减少图像噪声、模糊对辨识的干扰，提升低质量图像分辨率，一般采用人脸超分辨率技术来对低质量人脸图像进行高分辨率恢复。

人脸超分辨率技术顾名思义，就是用技术手段从低分辨率人脸图像中恢复出高分辨率人脸图像。人脸超分辨率技术可以大致分为两类：基于重建的方法和基于学习的方法两类。

人脸超分辨率问题是一个解无穷的问题，因为一幅低质量图像可能对应多幅不同高质量图像。基于重建的方法的主要思想就是希望通过加入先验约束缩小求解范围以获得最优高分辨率人脸图像。而基于学习的方法[1,2,3,4,5]的思想是希望通过统计学习的方法，通过掌握在库的高低分辨率图像对中存在的空间关系，来从低质量的人脸图像恢复出高分辨率的人脸图像。

目前基于学习的方法中，以下几种较具代表性：2004年，Chang[1]等首次将流形学习算法引入到图像超分辨率重构中，提出了一种邻域嵌入的图像超分辨率重构算法。Ce Liu[2]提出一种人脸图像超分辨率重构的两步法，先根据局部保持投影和径向基函数回归得到全局的人脸图像，再由基于局部重建的方法补偿人脸特征的细节信息。2005年，Wang和Tang[3]提出一种基于全局脸的人脸超分辨率方法，通过分别构建高低分辨率子空间，将求得的低分辨率图像在子空间的表达系数投影到高分辨率空间上而获得高分辨率图像。Sung Won Park[4]提出一种基于局部保持投影的自适应流形学习方法，从局部子流形分析人脸的内在特征，重构出低分辨率图像缺失的高频成分。综上所述，现有的基于学习的经典方法大多仅按照传统的技术思路学习固定人脸库高低分辨率统计关系，通过学习方法的提高改进来提高超分辨率恢复效果。缺乏对训练信息的甄选和约束，以及冗余训练信息的剔除，对训练信息的特定性没有做出较为有效的提高措施。在处理一般人脸超分辨率问题可以得到不错的效果，但是图像质量很低的时候，像素会遭到严重的毁坏混叠，冗余的训练信息会严重干扰超分的恢复结果，效果并不令人满意。

相关文献：

[1]H.Chang,D.-Y.Yeung,and Y. Xiong,“Super-resolution through neighbor embedding,”in Proc.IEEE Conf. Comput.Vis.Pattern Recog.,Jul.2004,pp.275–282.

[2]C.Liu,H.Shum,and W. T.Freeman.Face hallucination:Theory and practice.International Journal of Computer Vision,75(1):115–134,2007.

[3]X.Wang and X.Tang.Hallucinating face by eigentrans form.IEEE Transactions on Systems,Man,and Cybernetics,Part C:Applications and Reviews,34(3),pp.425-434,2005.

[4]Sung Won Park,Savvides,M.Breaking the Limitation of Manifold Analysis for Super-Resolution of Facial Images,ICASS P，pp:573-576,2007.

[5]H.Huang,H.He,X.Fan,and J.Zhang.Super-resolution of human face image using canonical correlation analysis.Pattern Recognition,43(7):2532–2543,2010.

发明内容

本发明的目的在于针对上述现有技术的问题，提供一种鲁棒性的人脸超分辨率重建方法，在监控环境下人脸图像损毁严重时，显著提高人脸恢复图像的视觉感受。