[发明专利]基于面部特征器官相似性的人脸图像超分辨率重建方法

说明书

技术领域

本发明涉及一种基于面部特征器官相似性的人脸图像超分辨率重建方法。

背景技术

图像超分辨率重建技术的目的在于将给定的低分辨率图像的分辨率通过数字图像处理技术进行有效的提升，从而得到高质量的高分辨率图像。人脸图像超分辨率重建(又称幻觉脸技术)即通过给定的低分辨率正面人脸图像重建出包含足够有效信息的高分辨率人脸图像，此技术目前广泛应用于视频监控、刑事侦查等安防领域，同时以上领域对该技术恢复出的高分辨率人脸图像的品质有很高的要求。当前普遍采用的图像超分辨率重建技术基本分为三类：基于插值、基于重构和基于学习。基于插值的方法根据待插入点的K邻域内的原始像素和特定的插值公式完成待插入点像素的估算。此方法的运算速度取决于邻域半径K的大小以及插值公式的复杂度。较其它方法而言，此方法运算速度最快，但是效果也最不理想，因此不适用于人脸图像。基于重构的方法利用退化后的图像与原始低分辨率图像间的相似度构造代价函数方程，同时利用图像特征先验信息构造方程的正则化项，最后采用迭代的方法求取该正则化方程最优解，得到最优的高分辨率图像，但是此方法的效果取决于所采用的图像特征先验信息，最终重建的高分辨率图像边缘效果较好，但是运算量较大且细节信息匮乏。基于学习的方法主要是借助一组高分辨率训练图像提供的细节信息弥补原始低分辨率图像所需细节信息，此方法得到的重建图像边缘效果一般，但图像细节丰富，具有较好的视觉效果，因此人脸图像超分辨率重建普遍采用基于学习的方法。

目前，研究人员和技术人员已经提出多种人脸图像超分辨率重建方法。方法一：基于多尺度和多方向特征的人脸图像超分辨率重建算法，采用可操控金字塔结构学习人脸图像的低层次局部特征的空间分布，结合金字塔式层次结构和局部最优匹配算法来预测最佳高低分辨率图像间的特征匹配。方法二：基于矢量量化的方法，训练高低分辨率人脸图像之间的栅格关系模型，然后通过该模型以及训练图像完成对高分辨率人脸图像的估计。方法三：基于马尔可夫随机场的方法，该方法认为图像块之间或图像像素之间满足一种非参数先验关系模型，该模型可利用马尔可夫随机场模型代替，借助此模型可以从训练图像中获取高频信息来补偿低分辨率目标人脸图像所需高频信息，但此方法运算量很大。方法四：基于张量的方法，利用分层特征张量表征人脸，通过训练得到全局特征张量，再结合局部特征张量共同完成人脸图像超分辨率重建。方法五：基于稀疏表达的方法，该方法认为高分辨率图像块可以采用一组标准信号元的稀疏表达来描述，在图像质量退化不严重的情况下，基于压缩感知的原理可以通过低分辨率图像顺利恢复出对应高分辨率图像的稀疏表达。方法六：基于特征子空间的方法，通过多元统计技术(MulitiVariate Statistical Technique)、主元分析(Principle Component Analysis，PCA)、多元线性分析(MultiLinear Analysis)和非负矩阵分解(Non-negative Matrix Factorization，NMF)等方法将图像转换到特征子空间，低分辨率目标人脸图像可以通过低分辨率训练图像的线性组合来表达，保持组合系数并将低分辨率训练图像替换为对应的高分辨率训练图像，得到的输出即为高分辨率目标人脸图像，此方法适应性强，但需要将训练图像精确配准到目标图像。

基于学习的人脸图像超分辨率重建方法主要有以下两个缺陷：其一、需要复杂的预处理操作。以上所列的任一种方法均存在此缺陷，基于学习的人脸图像超分辨率重建过程主要依赖于训练图像的有效程度，即训练图像与目标图像的整体及局部相似度。预处理过程是指为一幅目标图像建立有效的图像训练集，一般需要多步骤复杂操作，包括图像检索、比例缩放、图像配准和亮度归一化等操作，简单预处理很难得到理想的效果，高精度的预处理方法又十分费时(如光流法等)。如果预处理不足，重建出的高分辨率目标图像的效果会受到很大影响，尤其以基于特征子空间的方法所受影响最大；其二、不适宜小目标图像超分辨率重建。除方法六外，以上所述方法中训练图像的作用均在于高频信息补偿，即在训练图像集中检索与目标图像相似的图像或局部图像块的高频信息，而训练图像集的中低频信息仅仅起到了帮助检索的作用，并未参与到实质的图像超分辨率重建过程中，造成了资源的浪费。当目标图像尺寸较小时，目标图像本身基本不包含有效的高频信息，仅依靠低频图像相似度检索得到的高频信息并不能起有效的补偿作用，有时甚至会导致相反的效果。

发明内容

本发明针对以上问题的提出，而研制一种基于面部特征器官相似性的人脸图像超分辨率重建方法。具体技术方案如下：