[发明专利]一种基于轮廓先验的鲁棒性人脸超分辨率处理方法

说明书

技术领域

本发明涉及图像处理（图像恢复）领域，针对低质量监控视频中人脸图像恢复的需求，具体涉及一种基于轮廓先验的鲁棒性人脸超分辨率处理方法。

背景技术

人脸超分辨率技术是通过从已有的低分辨率人脸图像中估计出高分辨率人脸图像。随着监控系统的快速发展，监控系统在刑事侦查行业中，发挥着越来越重要的作用，如安全防范、录像取证和犯罪调查等等。其中人脸图像作为直接证据之一，在案件分析和法庭取证中占据着重要的位置。然而，由于现有条件下，目标物体与摄像头距离相对较远，捕捉到的监控人脸可用像素非常少，像素分辨率非常低，兼之真实情况下由于恶劣天气（雨雾）、光照（过强、过暗、明暗不均）、器件等因素都会对捕获的图像引发的严重损毁（如严重的模糊和噪声），图像恢复、放大和辨识往往受到严重的干扰。这就需要用到人脸超分辨率的技术提升图像分辨率，从低分辨率图像恢复到高分辨率图像。

近年来，流形学习逐渐成为了人脸超分辨率的主流方法。这类方法的核心思想是：描述低分辨率图像的流形空间关系，寻找出每个低分辨率图像数据点周围的局部性质，然后将低分辨率图像的流形非线性地映射到高分辨率图像的流形空间中，在高分辨率对应空间上做投影，从而合成高分辨图像。具有代表性的有以下几种方法。2004年，Chang[1]等首次将流形学习算法引入到图像超分辨率重构中，提出了一种邻域嵌入的图像超分辨率重构算法。CeLiu[2]利用流形学习理论提出一种人脸图像超分辨率重构的两步法，先根据局部保持投影和径向基函数回归得到全局的人脸图像，再由基于局部重建的方法补偿人脸特征的细节信息。SungWon Park[3]提出一种基于局部保持投影的自适应流形学习方法，从局部子流形分析人脸的内在特征，重构出低分辨率图像缺失的高频成分。综上所述，现有的这些方法大多仅按照传统的技术思路以图像像素值、图像梯度值等单一的差异作为人脸相似度准则和算法基础，在处理一般环境下低质量图像的过程中，可以得到不错的效果，但是图像质量很低的时候，像素会遭到严重的毁坏混叠，用来表示图像的特征因此很容易遭到损坏，用传统方法恢复出来的图像，效果并不令人满意。

2010年，Lan[4]针对监控环境下严重的模糊和噪声导致的图像像素损毁严重的问题，提出一种基于形状约束的人脸超分辨率方法，在传统PCA架构中添加形状约束作为相似度度量准则，利用人眼睛识别形状时对干扰的鲁棒性来人工添加形状特征点作为约束，优化低质量图像的重建结果。该方法一定程度上缓解了严重像素损毁对于重建结果的干扰，但是该方法中人工干预获得特征的过程具有较大的偶然性，难以保证恢复结果精确度和稳定性。

[1]H.Chang,D.-Y.Yeung,andY.Xiong,“Super-resolution through neighbor embedding,”in Proc.IEEE Conf. Comput.Vis.Pattern Recog.,Jul.2004,pp.275–282.

[2]C.Liu,H.Shum,and W.T.Freeman.Face hallucination:Theory and practice.InternationalJournal of Computer Vision,75(1):115–134,2007.

[3]Sung Won Park,Savvides,M.Breaking the Limitation of Manifold Analysis forSuper-Resolution ofFacial Images,ICASS P，pp:573-576,2007.

[4]C Lan,R Hu,Z Han,A face super-resolution approach using shape semantic mode regularization.IEEE International Conference on Image Processing(ICIP),2021–2024,26-29Sept.2010.

发明内容

本发明的目的在于针对上述现有技术的问题，提供一种鲁棒性的人脸超分辨率方法，在监控环境下人脸图像损毁严重时，显著提高人脸恢复图像的视觉感受。

本发明的技术方案为一种基于轮廓先验的鲁棒性人脸超分辨率处理方法，包括以下步骤：