[发明专利]一种基于双层级联回归模型的人脸特征点定位方法

权利要求书

1.一种基于双层级联回归模型的人脸特征点定位方法，其特征在于：包括，

通过从训练样本集中随机选取人脸形状作为初始形状的方法来扩增样本；

从68点的完整人脸形状中挑选出对人脸特征点定位起到关键作用的14个点，组成简化人脸形状；

利用子空间划分法，将样本分成多个子集，每个子集分别训练回归器，所有回归器共同构成第一层级联回归模型，用于预测简化人脸形状；

利用3D拟合的方式，实现从第一层预测的简化人脸形状到完整人脸形状的投影，生成粗略的初始完整人脸形状；

将粗略完整人脸形状作为初始形状，利用所有训练样本来训练回归器，构成第二层级联回归模型，形成双层级联回归模型，用于预测完整人脸形状；

利用所述3D拟合的方式为第二层模型生成初始形状的步骤包括，

利用由稠密的3D坐标点集合构成的3DMM模型，分别提取出14个坐标点集合和68个坐标点集合，分别记为3D简化人脸形状和3D完整人脸形状

利用弱透视投影将3D简化人脸形状投影到2D平面，对s_3d与人脸图像拟合，包括：

其中，f为缩放因子，P_o为正投影矩阵R(α，β，γ)为一个由俯仰角α，偏航角β和翻滚角γ构成的3×3的旋转矩阵，t_3d为位移向量，为在2D平面上的投影；

若将第一层级联回归模型输出的2D简化人脸形状记作通过最小化与之间的欧氏距离，则确定参数f，R和t_3d的合适值，实现人脸图像与3D人脸形状的拟合，包括：

利用最小二乘法计算得到仿射变换的参数后，将上述弱透视投影公式中的3D简化人脸形状替换成3D完整人脸形状即可得到与人脸图像拟合后的3D完整人脸形状在2D平面上的投影

当人脸姿态发生变化时，3D人脸形状上标记的轮廓部位的特征点会受到脸颊的遮挡，而真正的轮廓特征点应该在脸颊的边界处；

使用上述拟合过程中得到的偏航角β，判断人脸是偏向左侧还是右侧。

2.根据权利要求1所述的基于双层级联回归模型的人脸特征点定位方法，其特征在于：构建所述双层级联回归模型的步骤包括，

首先提取基于PHOG的形状索引特征，使用训练过程中获得的投影矩阵P投影到融合子空间，并根据其划分出K个样本子集；

接着根据不同的子集分别训练特征映射函数和回归器经过T次迭代回归得到简化人脸形状

再利用3D拟合法得到仿射变换参数，投影得到粗略的完整人脸形状s⁰；

最终，根据所有的训练样本和上个步骤得到的粗略完整人脸形状，训练特征提取函数Φ和回归器W，经过T次迭代实现精回归。

3.根据权利要求2所述的基于双层级联回归模型的人脸特征点定位方法，其特征在于：挑选最优简化人脸形状的步骤包括，

以最具代表性的5个轮廓特征点为基础，分别在眼睛、鼻子、嘴和轮廓的部位增加部分特征点，挑选出6个简化人脸形状；

所述最具代表性的5个轮廓特征点包括双眼中心、鼻尖和嘴角。

4.根据权利要求3所述的基于双层级联回归模型的人脸特征点定位方法，其特征在于：挑选最优简化人脸形状的步骤还包括，

挑选最合适的简化人脸形状，包括计算定位误差和拟合误差；

比较所述定位误差和所述拟合误差，选取所述定位误差和所述拟合误差均为最小的14点形状，作为简化人脸形状。

5.根据权利要求4所述的基于双层级联回归模型的人脸特征点定位方法，其特征在于：所述定位误差计算方法为，基于每个简化人脸形状训练单层的级联回归模型，计算各个模型在测试集样本上的归一化标准误差；

所述拟合误差计算方法为，基于定位误差得到的定位结果，以及3D拟合法生成的完整人脸形状，计算生成的完整人脸形状与样本的真实人脸形状之间的平均归一化误差。