[发明专利]一种基于深层线性映射学习的人脸超分辨率重建算法

说明书

技术领域

本发明涉及人脸图像超分辨率技术领域，具体涉及一种基于深层线性映射学习的人脸超分辨率重建算法。

背景技术

人脸图像超分辨率技术可以应用在很多领域，如人脸识别，人脸图像视频传输，人脸图像恢复以及人脸图像表情分析等。如在视频监控系统中，由于摄像头分辨率有限且与目标距离较远等原因，监测到的人脸图像较小，分辨率低，为了更好地观察和识别分析，先对它们进行超分辨率。人脸超分辨率是一种典型的超分辨率算法，用于从输入低分辨率图像重建高分辨率图像，旨在克服当前成像系统的局限性。

基于学习的人脸超分辨重建算法成为近年来人脸超分辨率算法研究的的主流方向。例如，Baker等人[1][2]提出了一种人脸幻构(face hallucination)方法，将基于学习的方法运用到人脸超分辨中，对于输入的单幅低分辨人脸，借助于训练集，通过金字塔结构得到高频细节信息，生成高分辨人脸，获得了比传统重建方法和插值更好的效果。但是该方法在某些重要部位引入了较大的噪声。为了在有效去噪的同时保持细节。Chang[3]等人提出基于邻域嵌入的超分辨算法，该算法利用流形学习中的LLE(Locally Linear Embedding)算法进行超分辨，但是由于利用到降维的方法，往往会丢失人脸图像的非特征信息。Ma等人[4][5]提出了一种基于图像块的最小二乘表示(least squares representation,LSR)算法，通过求出各个图像块的输出权重对低分辨率图像进行超分辨率重建。该算法的缺点是容易出现过拟合问题。为了解决这一问题，2010年Yang等人[6]提出一种基于稀疏编码的自适应选择相邻最相关(sparse representation)人脸超分辨率方法。Jiang等人[7]则是根据局部流形几何引入了局部约束条件对特征系数(localityconstrained representation,LCR)进行进一步约束。Zhang等人[8]提出了一种基于线性回归的人脸超分辨率重建算法，通过多线性映射(MLM)，可以有效地预测给定输入的低分辨率人脸图像中的丢失细节，通过映射学习中找到匹配模型。为了解决单层表达框架精度不足的问题，Jiang等人[9]进一步提出了算法LINE(Face Super-Resolution via Locality-Constrained Iterative Neighbor Embedding)通过迭代和更新高分辨率的流形结构和将单层局部约束表达扩展成多层的局部约束表达构成。Dong[10]等人提出了基于深度学习的卷积神经网络超分辨率(Deep Convolutional Network for Image Super-Resolution)算法，(SRCNN)具有低分辨率图像和高分辨率的图像之间的一个端到端的映射，具有很少的预处理和后处理，该算法取得了令人满意的重建效果。

为了克服上述人脸超分辨重建算法中的缺点，本发明借鉴多重线性映射学习和超分辨率卷积网络(SRCNN)，提出了深度多线性映射学习算法框架，通过利用局部和非局部自相似性优势来提高重建性能，最终获得更高质量的高分辨率人脸图像。

参考文献：

[1]Baker S,Kanade T.Limits on Super-Resolution and How to Break Them[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2000,24(9):1167-1183.

[2]S.Baker and T.Kanade,“Hallucinating faces,”in2000the Fourth International Conference on Automatic Face and Gesture Recognition(FG’2000),March 2000,pp.83–88.

[3]Chang H,Yeung D Y,Xiong Y.Super-resolution through neighbor embedding[C]//IEEE Computer Society Conference on Computer Vision&Pattern Recognition.IEEE Computer Society,2004:275-282.

[4]X.Ma,J.Zhang,and C.Qi,“Position-based face hallucination method,”in Proc.ICME.,pp.290–293,2009.