[发明专利]一种三维人脸的人脸级联回归模型训练方法及重建方法

说明书

本发明公开了一种三维人脸的人脸级联回归模型训练方法及重建方法，训练方法包括：首先预处理，采集标准身份组件和标准残余组件，提取标准真实人脸特征点，获取初始身份组件和残余组件；然后进行模型训练：拟合身份组件和残余组件的级联回归模型，对身份组件和残余组件进行更新，迭代更新直到更新的身份组件与标准身份组件的差异小于自定义阈值，且更新的残余组件与标准残余组件的差异小于自定义阈值，训练结束，得到多级级联回归模型。本发明使得任意图像集合的三维人脸重建简单易行，不受输入人脸图像的数量和面部状态限制，并能大大提高三维人脸重建的效率。

技术领域

本发明涉及三维人脸重建技术领域，特别涉及一种三维人脸的人脸级联回归模型训练方法及重建方法。

背景技术

三维人脸重建主要目标是从二维图像恢复对应的三维人脸。三维人脸目前在表情分析、人脸动画设计、脸部识别等诸多方面有着广泛应用。现阶段基于任意数量无约束图像集合的三维人脸重建技术大致可以分为传统方法以及深度学习的方法。一类传统方法对多幅图像采用光度立体技术进行三维人脸重建，给定某个人的一个任意数量图像集合，首先通过预定义的模板形状对图片进行人脸姿态正面化，再利用光度立体法估计一个初始化人脸形状，最后选择每个点最佳的图像子集，对形状进行逐点优化。后续工作通过加入特征点约束从而处理姿态更加复杂的人脸图像集合。但上述方法需要同一个人大量人脸图像，且只能恢复一个无表情的三维人脸形状。另一类传统方法基于三维人脸形变模型(3DMM)，通过“分析合成方法”拟合三维人脸形变模型参数，获得一个无表情的人脸形状和与每张图片对应的不同表情形状。后续工作将光度立体技术与3DMM结合，从粗到细精细化三维人脸形状，从而获得较好的三维人脸重建效果。但上述方法需要解复杂的优化问题往往耗费较长时间。基于深度学习方法通过训练一个深层网络，提取每张图片对应的三维人脸形变模型(3DMM)的身份相关以及表情相关的系数，再利用网络结构聚合不同图片的身份信息，获得具有一致性的身份参数。由于3DMM模型的限制，这种方法无法处理除表情之外因素带来的脸部形状变化，比如年龄因素或体重的增加或减少。

发明内容

一种三维人脸的人脸级联回归模型训练方法，包括以下步骤：

预处理：采集真实的身份组件和残余组件，作为标准身份组件和标准残余组件；对输入图像集合进行人脸区域检测，采用特征点检测算法来提取输入图像集合的特征点，作为标准真实人脸特征点；获取初始身份组件和初始残余组件；

模型训练：利用所述标准身份组件、标准残余组件、标准真实人脸特征点、初始身份组件和初始残余组件，拟合身份组件和残余组件的级联回归模型，更新身份组件和残余组件，迭代更新直到更新的身份组件与标准身份组件的差异小于自定义阈值，且更新的残余组件与标准残余组件的差异小于自定义阈值，训练结束，得到多级级联回归模型；

其中，身份组件为任意数量无约束环境下获取的二维图像集合的共性身份信息，用一个无表情的三维人脸形状表示；残余组件为每张图像除身份组件外的人脸形状变化。

所述模型训练包括以下步骤：

S1、利用所述标准真实人脸特征点、身份组件和残余组件，计算每张图片对应的三维到二维的投影矩阵；

S2、根据标准真实人脸特征点对应索引三维人脸形状特征点，将所述三维人脸特征点投影到二维平面得到对应的二维特征点，将所述二维特征点级联；

S3、利用级联后的特征点和标准真实人脸特征点计算二维特征点差异向量，利用所述身份组件和所述标准身份组件计算身份组件差异，利用所述残余组件和所述标准残余组件计算残余组件差异，最后计算得到身份组件级联回归模型和残余组件级联回归模型；拟合身份组件和残余组件的级联回归模型,获得身份组件和残余组件更新量，对身份组件和残余组件进行更新；

更新后的身份组件和残余组件重复步骤S1-S3，迭代更新，直到更新的身份组件与标准身份组件的差异小于自定义阈值，且更新的残余组件与标准残余组件的差异小于自定义阈值，训练结束，得到每级级联回归模型。