[发明专利]一种基于联合字典的三维人脸表情去除的方法

说明书

技术领域

本发明涉及一种基于联合字典的三维人脸表情去除方法，尤其涉及一种以三维人脸非刚性对齐、稀疏编码、联合字典和泊松变形的三维人脸表情去除的方法。

背景技术

三维表情去除与三维人脸表情合成都是多学科交叉的研究课题，同属人脸合成领域。表情是人们传递情感的重要渠道之一，在日常的工作、生活之中占有重要的地位，然而在某些应用的场景下，表情的存在反倒成为了影响和负担，例如表情的存在会影响人脸识别的准确性，尤其是人脸带有夸张表情时往往会识别出错误的身份。因此，让使用者摆出中性表情人脸，又有违人脸识别非配合性的初衷。

一个思路是在设计、实现表情不敏感的三维人脸识别算法，减弱表情的影响；而通过计算机合成的方法，从带表情人脸生成相应的中性人脸，随后再进行识别，是解决这一困境的另一条思路。

公开号为CN101976454A的中国专利申请公开了一种三维人脸表情的去除方法，步骤如下：(1)三维人脸模型的非刚性对齐；(2)建立表情空间；(3)表情残差空间的计算；(4)建立表情空间和表情残差空间的映射关系；(5)表情残差推导和表情去除。这个方法使用径向基函数回归,在法向特征空间与表情残差空间中建立映射,从输入人脸的法向特征数据求解相应的表情残差,随后使用输入的带表情人脸减去表情残差即可获得中性人脸。但是这个方法在对嘴巴张得比较大的人脸模型，处理的效果并不好。

发明内容

本发明提供一种基于非刚性对齐、稀疏编码、联合字典和泊松变形的三维人脸表情去除方法，主要解决的是将输入的带表情人脸自动变成对应的中性人脸的技术问题。

一种基于联合字典的人脸表情去除方法，其步骤如下：

(1)、三维人脸非刚性对齐：用于将所有三维人脸数据规则化，便于后续的处理；

(2)、联合字典学习：通过联合字典学习完成对训练数据库中的人脸与其对应的表情残差间的映射建立，其中表情残差通过表情人脸“减去”对应的中性人脸得到；

(3)、基于残差的表情去除人脸区域提取：对输入一张测试的带表情人脸，根据步骤(2)得到的字典映射，得到与表情残差，通过“减去”残差获得中性人脸；

(4)、模板引导的泊松变形：基于向导的变形和刚性区域约束对步骤(3)得到中性人脸进行处理，使得最后输出的中性人脸噪声更少并更接近真实人脸。

步骤(1)中的三维人脸非刚性对齐，是指将一个通用人脸模板向所有人实验用到的人脸模板变形，拿变形的结果替代人脸成为新的实验数据，它分为三个阶段：1)特征点原则的人脸变形，使用少数特征点位作为引导，设定变形影响范围，使得这些特征点的移动能够带动其周围较大范围内邻域点的移动，达到预先变形通用模板，减少网格折叠的目标；2)基于最近点原则的人脸曲面变形；3)基于混合原则的人脸曲面变形，即结合最近点原则和法线射线原则，在变形的过程中，不断调整这两个原则对变形结果影响的比重，具体调整原则请参考后面具体实施方案。

在联合字典的学习过程中，在表情人脸和表情残差人脸间建立了一组非显性的映射W，使得带表情人脸与对应的表情残差在各自字典上的稀疏表征编码保持相同，即共享编码。

带表情人脸f_exp“减去”对应中性人脸f_neu得到表情残差f_res基于以下公式：

Φ(f_res)＝Φ(f_exp)-Φ(f_neu)  (3)

其中Φ(·)表示从三维人脸曲面上提取的曲面信号向量。假设本发明中提到的非刚性对齐步骤已经完成，则Φ(·)可以写成：

Φ(f)＝(x₁，y₁，z₁，x₂，y₂，z₃，…，x_n，y_n，z_n)^T  (4)

其中x_i，y_i，z_i，1≤i≤n是三维人脸上的第i个点的三维坐标。

基于向导的变形的方法是将输入的人脸在自身拓扑结构的约束下向目标人脸(“向导”)变形。

刚性区域约束指的是通过边界条件的方式对泊松方程加以约束，固定人脸上的刚性区域保持不变。