[发明专利]人脸关键点定位方法及装置

权利要求书

1.一种人脸关键点定位方法，其特征在于，包括如下步骤：

将待检测人脸图像缩放到第一指定分辨率，形成第一缩放待检测人脸图像；

将所述第一缩放待检测人脸图像输入至第一阶段多任务关键点定位模型中，得到第一关键点定位坐标和第一头部姿态估计值，其中，训练所述第一阶段多任务关键点定位模型包括构建第一阶段多任务深度卷积神经网络，构建第一阶段多任务深度卷积神经网络的目标函数为：

J＝J_r(S^g，f(I；W_r))+J_l(P^g，f(I；W_l))

其中，J_r表示人脸关键点定位的损失函数，J_l表示头部姿态信息估计的损失函数，S^g，P^g分别表示输入图像中标定的人脸关键点位置和头部姿态信息，I为输入图像，f(·)是第一阶段多任务深度卷积神经网络的非线性映射函数，W_r、W_l分别表示基于回归和基于分类的映射矩阵；

其中，J_r用回归形式的平方误差损失函数表示如下：

其中，N表示输入图像的个数，是第i个输入图像中标定的人脸关键点位置，表示第一阶段多任务深度卷积神经网络中第T层的输入，为所述第一阶段多任务深度卷积神经网络中第T层的映射函数，为第一阶段多任务深度卷积神经网络中第T层的回归映射矩阵；

其中，J_l用分类形式的交叉熵损失函数表示如下：

其中，K为头部姿态信息的类别数目，P_i^g表示第i个输入图像中标定的头部姿态信息；表示第i个输入图像被分为第k类头部姿态信息的概率，为预测的第i个输入图像的头部姿态信息；

将所述待检测人脸图像缩放到第二指定分辨率，得到第二缩放待检测人脸图像，所述第二指定分辨率大于第一指定分辨率；

以缩放后的第二缩放待检测人脸图像中的第一关键点定位坐标为中心，提取周围第一预定大小的第一局部区域图像，将所有第一关键点周围提取的第一局部区域图像串联起来；

将所述串联后的第一局部区域图像输入至第二阶段关键点校准模型中，得到第二关键点定位坐标；

将所述待检测人脸图像缩放至第三指定分辨率，得到第三缩放待检测人脸图像，第三指定分辨率大于第二指定分辨率；

以缩放后的第三缩放待检测人脸图像中的第二关键点定位坐标为中心，提取周围第二预定大小的第二局部区域图像；

将所述第二局部区域图像输入至第三阶段关键点检测模型中，得到最终的关键点定位坐标；其中，不同关键点对应不同的所述第三阶段关键点检测模型。

2.如权利要求1所述的方法，其特征在于，所述第一阶段多任务关键点定位模型通过如下方式训练得到：

获取包括人脸图像样本的训练样本集，在人脸图像样本中标定人脸关键点位置和头部姿态信息；

通过人脸检测器获取人脸图像样本中的人脸目标区域，把人脸目标区域缩放到第一指定分辨率，并更新标定的人脸关键点位置；

构建第一阶段多任务深度卷积神经网络；

将人脸图像样本的人脸目标区域作为输入图像输入至第一阶段多任务深度卷积神经网络进行训练，得到第一阶段关键点定位模型。

3.如权利要求1所述的方法，其特征在于，所述如下表示：

其中，是第k类头部姿态信息的映射矩阵，是第j类头部姿态信息的映射矩阵，