[发明专利]一种基于形状语义模型约束的人脸超分辨率处理方法

说明书

技术领域

本发明涉及图像超分辨率处理技术领域，尤其涉及一种基于形状语义模型约束的人脸超分辨率处理方法。

背景技术

近年来，随着视频监控系统的不断发展和完善，监控图像资源得到了广泛应用，如安全防范，刑事侦察，法庭取证等。人脸是辨识个人身份最直接的特征，是监控图像中最受关注的对象之一，但是在大部分的监控场景中，摄像头和场景中的人脸有较远的距离，这导致人脸图像具有很低的分辨率。低分辨率人脸图像丢失了许多人脸特征细节，人脸经常难以辨识，有效增强人脸图像分辨率成为亟待解决的问题。人脸超分辨率技术能够利用人脸样本图像重建出与原始低分辨率人脸图像最相似的高分辨率人脸图像，可以有效增强监控录像中低质量人脸图像的分辨率，恢复人脸特征细节信息，这对于提高人脸图像的清晰度，增加人脸辨识的准确性具有重要意义。

全局人脸超分辨率方法是指通过数据表达方法将样本图像变换到子空间，利用该样本子空间信息做为重建的先验信息来获得高分辨率图。2001年，牛津大学的Capel和Zisserman(参见文献1)提出利用样本人脸图像的PCA(Principal Component Analysis，主成分分析)特征脸空间做为一个先验模型正则约束，结合MAP(Maximum a Posteriori，最大后验概率)估计器从特征脸空间中恢复超分辨率的图像。这方法通过使用大量的对齐后的训练样本人脸图像建立了人脸空间模型并做为先验约束条件，相比于利用马尔可夫随机场做为约束的传统方法，提高了超分辨率结果图像的质量。但是该方法的先验模型基于高斯分布的前提限制了它的应用范围。2003年，美国佐治亚理工学院的Gunturk等人(参见文献2)为了使超分辨率更适用于人脸识别的前处理，提出在低维的PCA特征脸空间执行超分辨率，该方法极大降低了超分辨率的复杂度，而且提高了噪声环境下的人脸识别率。但该算法的目的是提高人脸识别性能，而不是为了产生主观视觉上效果好的高分辨率图像，所以它仅重建对于识别有必要的信息。

2005年，香港中文大学的Wang和Tang(参见文献3)提出基于特征变换的新幻觉脸算法，该方法利用主成分分析方法(PCA)将输入的低分辨率图像拟合成为样本库中低分辨率图像的线性表达，通过将低分辨率样本的表达系数直接映射到高分辨率样本图像空间，合成高分辨率的图像。该方法不仅提高了识别率，而且在主观质量上也有相当大的提高，实验还表明该方法对于高斯白噪声有一定鲁棒性。但是这种方法的抗噪声类型过于简单，适用范围非常有限。

2008年，韩国全南国立大学的Jeong-Seon Park等人(参见文献4)提出使用迭代误差后向投影结合形变人脸模型PCA合成方法从单帧低分辨率人脸图像重建高分辨率人脸图像。这种方法通过比较重建误差迭代更新高分辨率图像，逐步补偿高分辨率图像误差。同时引入并扩展了形变(Morphable)人脸模型，该模型将样本人脸分解成形状和纹理向量，然后对这两个向量都分别进行了合成，最后将纹理根据形状信息进行变换。该方法能够同时利用人脸图像的形状和纹理信息，合成的图像更加精确，实验结果与传统PCA分解相比有所提高。但是该方法需要利用光流法计算人脸图像的形状场，该步骤的精度可能受到各种噪声的影响，计算复杂度也很高。

2009年，Krissada和Somchai等人(参见文献5)提出了能够在HSV(Hue Saturation Value)颜色系统空间重建彩色人脸图像的幻觉脸技术。该方法利用张量空间表达彩色人脸图像，并应用多维PCA方法去利用更多的原始二维图像信息，不仅解决了传统方法没有考虑颜色空间的问题，而且解决了传统PCA方法需要将图像变换成向量而丢失像素空间关系的问题。但是该方法对于不同的退化模型比较敏感。