[发明专利]基于张量分解与Delaunay三角划分的多视角人脸合成方法

说明书

技术领域

本发明属于图像处理技术领域，特别涉及多视角人脸合成方法，可用于图像恢复与重建领域中不同视角下人脸图像的合成。

背景技术

随着IT科技的飞速发展，基于人脸的身份认证将成为当代最主要的生物特征识别技术之一。由美国国防部高级研究项目署DARPA和美国陆军研究实验室ARL联合进行的人脸识别测试结果表明：人脸识别率对姿态变化具有很强的敏感性。所以，多个视角下的人脸合成技术对获得可靠的身份认证是至关重要的。此外，合成连续变换视角下的人脸图像，不仅对人脸空间建模具有重要意义而且在视频会议、人机接口、公共安全、影视娱乐等领域也取得了广泛的应用。但该项研究涉及到图像处理、模式识别、人工智能、计算机视觉、几何学、生理学、心理学、美术等多个交叉学科，因此，合成出逼真的人脸图像是一项非常重要又极具挑战性的课题。

目前多视角人脸合成的研究成果主要集中为以下两类：

第一类是基于流形估计的多视角人脸合成技术。美国AT&T实验室的Saul等在文献“Roweis S.T.，Saul L.K.Nonlinear dimensionality reduction by locally linearembedding.Science，290(5500)：2323-2326，2000.”中最早提出了局部嵌入模型(Locallylinear embedding，LLE)的思想，即如果高维空间中的一点可以由其临近的几个点的线性叠加来表示，那么在低维空间中这种邻近的叠加关系仍然被保持。基于上述思想，美国Kentucky大学的Huang等人在文献“Xinyu Huang，Jizhou Gao，Sen-ching Cheung，Ruigang Yang.Manifold estimation in view-based feature space for face synthesis acrosspose.In：Asian Conference on Computer Vision，2009.”中，将每幅人脸图像看作该身份下高维图像空间中的一点，为每个人的多视角人脸图像建立低维流形结构。在低维流形空间中，如果某个人特定视角下的低维数据点可由其他人在该视角下的数据点通过线性加权的方式重构出来，则该权值也同样适用于其他新视角下的数据点合成。将合成的新视角下的低维数据点映射到高维图像空间可实现新视角下的人脸图像合成。

第二类是基于张量分解的多视角人脸合成技术。美国New York大学的Alex等提出多因素条件下人脸的张量分解方法，将图像中的变化因素一一分离开来，进而从影响人脸成像因素的不同子空间对图像进行处理。韩国Olaworks公司研究员Hyung-SooLee等人在文献“Tensor-based AAM with continuous variation estimation：Application tovariation-robust face recognition，IEEE Trans.On Pattern Analysis and MachineIntelligence，31(6)：1102-1116，2009.”中，将张量理论用于人脸图像的合成及识别，对训练图像首先用主动外观模型AAM将人脸的形状与纹理信息分离，在形状和纹理数据上分别采用张量分解，得到诸如身份、视角、光照和表情的多种因素子空间，利用线性合成的方法，在各自的空间中得到新的视角、光照和表情系数，然后通过核张量将这些新系数映射到图像空间，以实现人脸合成。实验结果表明，文中所述方法在光照变化和带眼镜等饰物的条件下有较好的合成效果，但只能合成出接近正面的有限人脸视角，而且训练阶段所需的样本数量也比较大。

由于上述两类方法都未对人脸视角因素的非线性变化进行精确描述，所以第一种方法只能合成出有限视角下的人脸图像，且由于受多个训练图像身份的影响，合成的图像与真实图像的差异较大；第二类种方法虽然在光照、表情变化情况下能得到较好的合成效果，但由于人脸多视角的非线性变化较强，合成结果还只是接近于正面人脸的有限视角下的图像。

发明内容

本发明的目的在于克服上述已有技术的不足，提出了一种基于张量分解与Delaunay三角划分的多视角人脸合成方法，以在构建人脸视角信息非线性变换模型的同时，实现对0°～90°连续变化的各视角人脸图像的合成。

为实现上述目的，本发明的下技术方案包括如下步骤：