[发明专利]人脸图像光照参数和去光照图的高精度同时估计方法

说明书

技术领域

本发明属于计算机视觉和图像处理领域技术领域，特别是一种人脸图像光照参数和去光照图的高精度同时估计方法。

背景技术

光照是影响人脸成像和人脸图像构成的重要因素，变化和未知的光照条件是人脸图像分析、合成以及识别技术实现的难点之一，人脸图像间光照差异的存在严重制约着现有人脸识别系统的性能。因此，对人脸图像光照效果的研究需求首先来自于建造对光照变化更加鲁棒的人脸识别系统。另外，人脸光照估计与重绘技术在计算机图形学领域也十分活跃，并被广泛地应用于虚拟现实、游戏制作、数字化电影后期制作等众多的用途。

针对光照因素在人脸图像分析、合成及人脸识别系统的研究中，光照参数估计及去光照图估计是其核心难点技术。光照参数估计指提取出给定人脸图像的与个体无关的光照因素参数化表达数值，它是进行光照重绘的基础；去光照图指从任意光照条件的人脸图像中去耦光照差异的因素，从而提取出的与光照无关的人脸滤波图像，该图像可被直接用于实现光照不变的人脸识别。

实现上述目标的算法根据是否采用3D形状建模以及是否基于朗伯特(Lambertain)反射模型，可以被划分为4个类别，这些方法通过对2D或3D的训练集设计不同的学习算法来提取其低维的参数，从而构造出各种不同含义的线性光照参数子空间。新样本通过在光照子空间中的投影或重构，分别用于实现光照估计、去光照图提取、光照鲁棒人脸识别等目的。

可渐变模型是一种具有人脸多属性综合绘制能力的人脸3D模型。该模型利用人脸形状与纹理的统计先验信息，采用Phong反射模型来估计和表达人脸表面的纹理特性，可以同时用于解决人脸光照与姿态的识别及合成间题。然而，该方法的实现复杂度较高，并且依赖于大规模人脸3D数据库的训练与学习。Kriegman等人发现任意照明条件下的人脸图像集可以在图像空间中构成凸锥(Convex Cone)的结构。通过学习每个人脸对象的多张不同照明图像，作者提出了3D人脸照明锥模型。该模型同样可以被用于解决人脸合成与识别中照明与姿态的组合变化问题。Jacobs等人提出了基于球面谐波表达的子空间模型，则通过构造一个9维的线性子空间来近似地表达凸朗伯特对象在所有可能光照条件下得到的图像集。

Shashua等人提出了基于人脸理想类假设的商图方法。该方法通过3个独立固定点光源的线性组合来表达三维世界的任意光照情况，能够在统一的数学框架下实现光照效果重绘、及光照不变的人脸识别任务。Chen等人将朗伯特对象的表面逐点反射系数命名为本质图(Intrinsic Image)，并通过在线性子空间中对该图的估计实现人脸光照的重绘。与基于3D人脸建模的方法相比，基于2D图像的子空间学习方法能够在较小的计算复杂度下，实现与3D方法接近的光照重绘效果。

张量脸模型通过构建多维的线性子空间可以同时处理人脸的多个不同属性(如光照、姿态、表情等)。针对光照重绘的特定任务，人脸图像的光照与身份这两个因素可以构成一个三模式的张量，也可以通过双线性子空间模型来表达。Lee等人针对人脸照明和形状因素，基于奇异值分解(SVD)提出了一个双线性模型，并报道可以获得比球面谐波等算法更有效的人脸图像光照变化的表达能力。

上述这些算法中大多数是设计用于对光照参数或去光照图中其中某一个目的进行专门求解，因此若是希望同时获得这两项估计值，则必须分别使用两个不同的算法进行求解，这样在实现上较为复杂。

商图算法因其简洁的运算以及在人脸识别与合成应用中的有效性，自提出以来，已引起了广泛的关注和进一步的发展。一系列改进的算法包括自商图(SelfQI)、非点光源商图(NPL-QI)、全变分商图(TV-QI)、形态学商图(MQI)、动态形态学商图(DMQI)、照明比例图(IRI)等陆续被提出。然而商图算法假设任一人脸对象i的表面具有恒定的反射系数ρ_i，从而任意两个人脸对象i与r间的商图就被通过一个标量参数来近似地表达。这种简化可以方便参数的求解过程。然而现实之中，人脸表面的反射系数是因点而异的，该项假设并不能够严格成立。这种近似表达给光照参数的估计引入了固有的误差，并将直接导致去光照图估计精度的损失，从而影响到人脸识别系统的识别率。

发明内容