[发明专利]基于回归模型的金字塔人脸图像超分辨率重建方法

说明书

本发明基于回归模型的金字塔人脸图像超分辨率重建方法，涉及图像的增强或复原，利用图像具有非局部相似性的特征，对测试集中低分辨率人脸图像在其对应特征图像中搜索重建图像块的相似块，得到所有相似块的位置集合，将训练集中所有低分辨率图像在该位置集合中的人脸图像块作为测试集中的低分辨率人脸图像块对应的低分辨率训练集，利用测试集中的低分辨率人脸图像块对应的特征图像块与训练集中的低分辨率人脸图像块对应的特征图像块之间的距离以及测试集中的低分辨率图像经过插值放大后的人脸图像块对应的特征图像块与训练集中高分辨率人脸图像块对应的特征图像块之间距离之和构建约束条件；克服了现有技术在人脸图像重建过程中存在的诸多缺陷。

技术领域

本发明的技术方案涉及图像的增强或复原，具体地说是基于回归模型的金字塔人脸图像超分辨率重建方法。

背景技术

图像采集的过程中，由于成像系统的限制和环境因素的影响，获取到的图像和真实场景往往会有偏差。如何提高图像的空间分辨率，改善图像质量，一直以来都是图像获取技术所致力解决的重要问题。随着科学技术的发展，成像系统的硬件设备性能越来越好，但是通过提升硬件系统来提高图像质量的方法需要很高的成本。在硬件水平已经达到一定高度的基础上，通过软件的技术提高图像的质量成为一种经济有效的方法，图像超分辨率重建(Super Resolution，SR)就是基于此的一种有效方法。

从广义上说，图像超分辨率重建方法主要分为基于多幅图像的超分辨率重建方法和基于单幅图像的超分辨率重建方法。由于后者的适用范围广泛，学习效果好，近年来成了众多学者研究的重点之一。例如文献1提出了一种基于位置限制的邻域嵌入和中间字典的多层人脸超分辨率重建的方法，利用图像块局部几何结构的流形限制进行超分辨率重建，捕捉了图像的退化过程，并通过构建中间字典的方法增强了重建高分辨率人脸图像和原始高分辨率图像之间的一致性，从而重建出高质量的人脸图像，但是直接将由低分辨率图像得到的映射关系应用到高分辨率图像上并不完全适合高分辨率图像，低分辨率图像与高分辨率图像之间存在的差异容易造成图像重建的误差。CN103824272B公开了基于K近邻重识别的人脸超分辨率重建方法，该方法同时利用低分辨率流形和高分辨率流形的几何信息对识别出的近邻图像块进行更新，由重新识别的近邻图像块计算权重系数，高分辨率图像提供的信息弥补了低分辨率图像提供信息的不足，重建图像的质量有了较大的提升，然而该方法在进行了一次K近邻图像块搜索之后又在所有高分辨率图像块中再进行一次近邻块的搜索，然后选取重复次数最多的图像块作为训练图像块，两次搜索过程和一次比较过程降低了重建方法的效率。上述两种基于邻域嵌入的人脸超分辨率重建方法均存在图像容易由于过拟合或者欠拟合产生模糊的现象的缺陷。为了解决这个问题，将稀疏先验的知识引入到人脸超分辨率重建中，CN103325104A提出一种基于迭代稀疏表达的人脸图像超分辨率重建的方法，首先对高分辨率人脸估计图像用一个高分辨率人脸图像字典进行线性表达，再使用基于局部线性回归方法对得到的高分辨率人脸估计结果，最后通过迭代的方式收敛到稳定值，得到最终的重建人脸图像，解决了人脸图像超分辨率对人脸图像对齐不准的问题，然而字典的训练过程以及迭代收敛过程会花费很长时间，导致实时性差的缺陷。上述基于邻域嵌入和基于稀疏表达的超分辨率重建方法均存在重建的人脸图像依然不能满足人们对高质量图像的需求的不足。为了充分利用不同人脸图像具有相似性的特征，文献2提出了基于位置块的人脸图像超分辨率重建方法，假设不同人脸图像相同位置处的图像块具有相同的图像结构，直接使用训练集中相同位置处的人脸图像块组成集合来重构人脸图像的方法，然而该方法直接使用相同位置的所有块进行重建，忽略了少数差异较大的块对重建带来的影响，存在重建图像容易出现部分模糊现象的缺陷。文献3中提出通过加入低秩约束的方法挑选出训练集中与输入块相同类别的图像块进行重建，但是该方法存在过度依赖训练集，没有利用输入图像自身的性质的缺陷。文献4中提出根据输入块与训练集中相同位置块的距离构建权重矩阵来求解映射矩阵，然而该基于位置块的方法都是由低分辨率人脸图像块训练出人脸图像块之间的映射关系，没有考虑高分辨率人脸图像块之间的关系可能影响人脸图像的重建效果，且人脸图像的重建过程不能体现图像的衰减过程，重建的高分辨率人脸图像存在局部重影的现象的缺陷。