[发明专利]基于三维人脸模型的人脸关键点检测方法

权利要求书

1.一种基于三维人脸模型的人脸关键点检测方法，其特征在于，包括如下步骤：

步骤01，在人脸训练样本中获取人脸图像和三维人脸模型的初始参数；

步骤02，根据所述人脸图像及初始参数生成姿态自适应特征和归一化坐标编码；

步骤03，分别对所述姿态自适应特征和归一化坐标编码使用卷积神经网络进行变换融合，得到真实残差和初始参数的参数残差；

步骤04，根据所述参数残差更新所述初始参数，转到步骤02直至所述参数残差达到预设阈值；

步骤05，利用达到预设阈值的参数残差更新所述三维人脸模型，采集所述三维人脸模型上的人脸关键点；

所述步骤03具体包括：

根据两个并行卷积神经网络，分别对所述姿态自适应特征和归一化坐标编码进行变换，并使用一个额外的全连接层对变换后的特征进行融合，对融合结果进行回归得到参数残差。

2.根据权利要求1所述基于三维人脸模型的人脸关键点检测方法，其特征在于，所述步骤02中在生成所述姿态自适应特征时，对所述三维人脸模型进行投影，投影时的公式包括：

其中，V(p)是构造三维人脸模型并投影的函数，可得到三维模型上各关键点在图像上的二维坐标，表示人脸的平均形状，A_id表示在中性表情的三维人脸上提取出的PCA主成分轴，α_id表示形状参数，A_exp表示在表情脸和中性脸的差上提取出的PCA主成分轴，α_exp表示表情参数，f为缩放因子，Pr为正投影矩阵，R为旋转矩阵，由四元组[q₀,q₁,q₂,q₃]构建，t_2d为平移向量，拟合目标参数为[f,R,t_2d,α_id,α_exp]，拟合目标参数集合为[f,q₀,q₁,q₂,q₃,t_2d,α_id,α_exp]。

3.根据权利要求2所述基于三维人脸模型的人脸关键点检测方法，其特征在于，所述由四元组[q₀,q₁,q₂,q₃]构建旋转矩阵的公式为：

4.根据权利要求3所述基于三维人脸模型的人脸关键点检测方法，其特征在于，所述步骤02中生成姿态自适应特征包括：

计算所述三维人脸模型每个顶点的圆柱坐标，并在方位角轴和高度轴上等间隔地采样n*n个锚点；在拟合过程中，使用当前模型的参数对这些锚点进行形变、缩放、旋转和平移得到锚点在图像上的位置，生成姿态自适应特征。

5.根据权利要求3所述基于三维人脸模型的人脸关键点检测方法，其特征在于，所述步骤02中生成归一化坐标编码包括如下公式：

PNCC(I,p)＝IZBuffer(V_3d(p),NCC)

其中，PNCC为投影的归一化坐标编码，NCC为归一化坐标编码，I为输入的人脸图像，p为当前参数，为在通道维度的堆叠运算，函数ZBuffer是将三维面片使用纹理渲染后生成二维图像的一个函数，V_3d(p)是缩放旋转平移形变后的三维人脸，堆叠一起产生的图为归一化坐标编码。

6.根据权利要求1所述基于三维人脸模型的人脸关键点检测方法，其特征在于，所述步骤03中参数残差的计算公式为：

Δp^k＝Net^k(PAF(p^k,I),PNCC(p^k,I))

其中，p^k为当前参数，I为输入图像，Δp^k为当前参数与真实残差的残差，PAF为姿态自适应特征，PNCC为归一化坐标编码，Net^k为双路并行卷积神经网络。