[发明专利]一种基于局部约束迭代邻域嵌入的人脸幻构方法

说明书

技术领域

本发明涉及图像超分辨率领域，具体涉及一种基于局部约束迭代邻域嵌入的人脸幻构方法。

背景技术

在过去的20年里，人脸识别技术得到了迅速的发展。同时由于视频监控系统有网络带宽有限，服务器存储等限制，导致拍摄到的面部图像分辨率低下，使得能提供的人脸信息十分有限，这成为生物识别技术中最具挑战性的问题之一。最近，超分辨率技术已被用来处理低分辨率（Low-Resolution，LR）图像，它能从一个低分辨率图像序列或单帧低分辨率图像生成一个能为后续识别进程提供更多面部细节的高分辨率（High-Resolution，HR）图像。

2000年Baker和Kanade在文献1（S.Baker and T.Kanade.Hallucinating faces.In FG,Grenoble,France,Mar.2000,83-88.）中提出了一种人脸幻构（face hallucination）的方法，利用训练集中人脸图像的先验信息，通过学习的方法获得低分辨率人脸图像对应的高分辨率人脸图像。这是人脸幻构技术领域的开创性工作。在此之后，许多不同的方法和模型被引入，其中最具代表性的技术是Chang等人在文献2（H.Chang,D.Yeung,and Y.Xiong.Super-resolution through neighbor embedding[A].In Proc.IEEE CVPR’04[C].Washington,2004.275–282.）中提出的一种基于流形学习的方法，他们假设高分辨率图像块和低分辨率图像块拥有相同的局部几何结构，进而利用局部线性嵌入（locally linear embedding，LLE）来学习高低分辨率图像块流形的对应关系。人脸分析与合成的相关理论研究表明，人脸图像的位置信息在人脸分析与合成中非常重要，受此启发，Ma等人在文献3（X.Ma,J.P Zhang,and C.Qi.Hallucinating face by position-patch.Pattern Recognition,43(6):3178–3194,2010.）和文献4（X.Ma,J.Zhang,and C.Qi,“Position-based face hallucination method,”in Proc.IEEE Conf.on Multimedia and Expo(ICME),2009,pp.290–293.）中提出了一种基于位置块的人脸幻构方法，对给定低分辨率人脸图像某位置的图像块通过训练集人脸图像中所有同一位置的图像块进行线性合成。然而，由于该方法采用最小二乘法进行求解，当训练样本中图像的个数比图像块的维数大时，图像块的表示系数并不唯一。为此，2011年Jung等人在文献5（C.Jung,L.Jiao,B.Liu,and M.Gong,“Position-Patch Based Face Hallucination Using Convex Optimization,”IEEE Signal Process.Lett.,vol.18,no.6,pp.367–370,2011.）中利用稀疏正则化方法获得人脸幻构的最佳重建权重。最近，专利1（胡瑞敏、江俊君、王冰、韩镇、黄克斌、卢涛、王亦民，一种基于局部约束表示的人脸超分辨率重建方法，专利申请号：201110421452.3）中进一步改善了基于位置块的人脸幻构方法，在对图像块进行重建过程中用流形的局部几何约束替换了文献5中的稀疏约束，使重建结果同时具有稀疏性和局部性。到目前为止，这种局部约束表示的人脸幻构方法是效果最好的方法。

无论是使用稀疏表示还是局部约束，以上所提到的方法都是通过探索合理的先验知识，寻找最具代表性的图像块并获得最优权重来进行人脸幻构。因此，如何寻找合理的K个近邻样本图像块并且获得最优权重是人脸幻构技术中最关键的两个环节。以上提到的所有方法，都只考虑了低分辨率图像块流形，而忽略了高分辨率图像块的几何结构信息，使得重建结果缺乏可靠性和判别性。

发明内容

本发明目的在于提供一种基于局部约束迭代邻域嵌入的人脸幻构方法。利用整个训练样本图像块作为字典，同时考虑了低分辨率流形结构和高分辨率流形结构的局部几何结构特征，弥补了以往只考虑某一种流形结构的不足，同时经过多次迭代步骤，使重建效果进一步接近原始高分辨率图像。

为达到上述目的，本发明采用的技术方案是一种基于局部约束迭代邻域嵌入的人脸幻构方法，包括如下步骤：