[发明专利]人脸关键点定位方法及装置

说明书

本发明公开了一种人脸关键点定位方法及装置。该方法包括：通过多任务卷积神经网络进行粗定位，确定人脸关键点大体位置；然后在关键点周围提取局部区域，通过全局级联卷积神经网络把关键点周围提取局部区域融合到一起，进行级联定位；最后在针对每个关键点单独训练卷积神经网络进行精细定位。本发明所用神经网络总体数目较少，定位效果相对较好。

技术领域

本发明涉及数字图像处理，计算机视觉等技术领域，具体涉及一种基于全局卷积神经网络人脸关键点定位方法及装置。

背景技术

关键点定位(检测)在计算机视觉中是一个重要的问题，指的是定位人脸中有语义结构信息的一些关键部位，如眼睛，鼻子和嘴巴等，是有监督人脸对齐中的一个重要的步骤。关键点定位也有很多实际的应用，比如说人脸识别、人脸表情分析、人机交互应用等。由于头部姿态、人脸表情以及光照的变化，关键点定位依然是一个十分有挑战性的问题。传统的基于卷积神经网络的关键点检测算法先用一个整体神经网络定位关键点，之后把每个关键点单独隔离出来定位。虽然传统的方法定位精度较高，但是忽略了人脸形状的全局信息，对光照变化、遮挡等不够鲁棒，时间复杂度偏高，很难应用在大规模场景下的精准关键点定位。

发明内容

为了解决现有技术不足，本发明的目的是提供一种基于全局卷积神经网络的关键点定位方法，该方法利用了人脸整体形状信息，把关键点之间位置顺序关系作为约束，加入到卷积神经网络之中，提高了关键点定位的鲁棒性。另外，为了克服大姿态对于人脸定位影响，本发明在第一阶段用多任务卷积神经网络定位关键点，同时考虑姿态估计和关键点定位，提升了在大姿态场景下的关键点定位精度。最后在每个关键点周围提取局部区域，训练精细关键点定位模型。综上所述，相比其他方法，本发明用三阶段卷积神经网络进行关键点定位，对于姿态、遮挡和光照等比较鲁棒，可以更加精准的定位人脸关键点。

根据本发明一方面，提供了一种人脸关键点定位方法，包括如下步骤：

将待检测人脸图像缩放到第一指定分辨率，形成第一缩放待检测人脸图像；

将所述第一缩放待检测人脸图像输入至第一阶段多任务关键点定位模型中，得到第一关键点定位坐标和第一头部姿态估计值；

将所述待检测人脸图像缩放到第二指定分辨率，得到第二缩放待检测人脸图像，所述第二指定分辨率大于第一指定分辨率；

以缩放后的第二缩放待检测人脸图像中的第一关键点定位坐标为中心，提取周围第一预定大小的第一局部区域图像；

将所述第一局部区域图像输入至第二阶段关键点校准模型中，得到第二关键点定位坐标；

将所述待检测人脸图像缩放至第三指定分辨率，得到第三缩放待检测人脸图像，第三指定分辨率大于第二指定分辨率；

以缩放后的第三缩放待检测人脸图像中的第二关键点定位坐标为中心，提取周围第二预定大小的第二局部区域图像；

将所述第二局部区域图像输入至第三阶段关键点检测模型中，得到最终的关键点定位坐标；其中，不同关键点对应不同的所述第三阶段关键点检测模型。

其中，所述第一阶段多任务关键点定位模型通过如下方式训练得到：

获取包括人脸图像样本的训练样本集，在人脸图像样本中标定人脸关键点位置和头部姿态信息；

通过人脸检测器获取人脸图像样本中的人脸目标区域，把人脸目标区域缩放到第一指定分辨率，并更新标定的人脸关键点位置；

构建第一阶段多任务深度卷积神经网络；

将人脸图像样本的人脸目标区域作为输入图像输入至第一阶段多任务深度卷积神经网络进行训练，得到第一阶段关键点定位模型。

其中，训练所述第一阶段多任务深度卷积神经网络的目标函数如下表示：