[发明专利]一种三维人脸的人脸级联回归模型训练方法及重建方法

权利要求书

1.一种三维人脸的人脸级联回归模型训练方法，其特征在于，包括以下步骤：

预处理：采集真实的身份组件和残余组件，作为标准身份组件和标准残余组件；对输入图像集合进行人脸区域检测，采用特征点检测算法来提取输入图像集合的特征点，作为标准真实人脸特征点；获取初始身份组件和初始残余组件；

模型训练：利用所述标准身份组件、标准残余组件、标准真实人脸特征点、初始身份组件和初始残余组件，拟合身份组件和残余组件的级联回归模型，更新身份组件和残余组件，迭代更新直到更新的身份组件与标准身份组件的差异小于自定义阈值，且更新的残余组件与标准残余组件的差异小于自定义阈值，训练结束，得到多级级联回归模型；

其中，身份组件为任意数量无约束环境下获取的二维图像集合的共性身份信息，用一个无表情的三维人脸形状表示；残余组件为每张图像除身份组件外的人脸形状变化；

所述模型训练包括以下步骤：

S1、利用所述标准真实人脸特征点、身份组件和残余组件，计算每张图片对应的三维到二维的投影矩阵；

S2、根据标准真实人脸特征点对应索引三维人脸形状特征点，将所述三维人脸特征点投影到二维平面，得到对应的二维特征点，将所述二维特征点级联；

S3、利用级联后的特征点和标准真实人脸特征点计算二维特征点差异向量，利用所述身份组件和所述标准身份组件计算身份组件差异，利用所述残余组件和所述标准残余组件计算残余组件差异，最后计算得到身份组件级联回归模型和残余组件级联回归模型；拟合身份组件和残余组件的级联回归模型，获得身份组件和残余组件更新量，对身份组件和残余组件进行更新；

更新后的身份组件和残余组件重复步骤S1-S3，迭代更新，直到更新的身份组件与标准身份组件的差异小于自定义阈值，且更新的残余组件与标准残余组件的差异小于自定义阈值，训练结束，得到每级级联回归的模型；

其中，步骤S3所述对身份组件和残余组件进行更新时，第k次训练的更新方法是：先计算第j个训练样本的第k次迭代器，计算如下：

为第j个训练样本的标准身份组件集合，为第j个训练样本每张图片的标准残余组件集合，为第j个样本第k-1级的残余组件，为第j个样本第k-1级的身份组件，[W^ID]^k∈R^3n×(2I×p)为身份组件级联回归模型，[W^R]^k∈R^3n×2I为残余组件级联回归模型，[U^*]_j为第j个训练样本的标准真实人脸特征点的级联，为第j个训练样本第i张图片的标准真实人脸特征点；

由上式，利用线性最小二乘法拟合此时的身份组件级联回归模型[W^ID]^k∈R^3n×(2l×p)和残余组件级联回归模型[W^R]^k∈R^3n×2I；

利用所述身份组件级联回归模型、残余组件级联回归模型和特征点差异向量求解此时初始化形状的改变量，身份组件和残余组件组件更新的计算如下：

[W^ID]^k和[W^R]^k表示身份和残余形状在第k次迭代的级联回归模型，为标准真实人脸特征点，U^*∈R^136×i为级联后的标准真实人脸特征点，为第i张图片的三维人脸特征点投影到二维平面得到的特征点，U^k-1为三维人脸特征点投影到二维平面得到的特征点的级联。

2.根据权利要求1中所述的模型训练方法，其特征在于，步骤S1所述投影矩阵的计算具体为：m个训练样本，每个训练样本包含同一人数量为p的图像，i∈[1,p]，在k∈[1,K]次训练过程中，其中K和p为自然数，每张图片对应的三维到二维投影矩阵用下式计算：

k＝1,2.......K,；为第i张图片的标准真实人脸特征点；表示三维人脸形状上与第i张图片的l个特征点对应的三维特征点，三维人脸形状包括身份组件和残余组件。