[发明专利]一种基于深度学习的带中继监督的序列化人脸关键点检测方法

说明书

本发明公开了一种基于深度学习的带中继监督的序列化人脸关键点检测方法，包括如下步骤：给定已检测出的人脸图像，设计出一种由多模块组成的级联网络结构，该结构通过对各模块的中继监督，实现了关键点的序列化预测；结合软极大值函数在输出的关键点热图上计算关键点坐标的期望，完成热图回归向基于关键点坐标的数值坐标回归的转化，充分发挥了两种回归方法各自的优势。本发明一方面克服了热图回归方法不能端到端进行训练的缺陷，另一方面省去了额外的数据处理过程，加快了模型训练过程，提升了算法效率；在进行数值坐标回归时采用一种新的分段损失函数，最终获得了较高的定位准确度。

技术领域

本发明涉及图像处理与模式识别技术领域，尤其是一种基于深度学习的带中继监督的序列化人脸关键点检测方法。

背景技术

人脸关键点检测是计算机视觉中的经典问题之一，也是人脸分析过程中的重要组成部分。基于准确的关键点检测结果，可以实现人脸姿态估计、表情分析、美妆特效等应用。

目前主流的人脸关键点检测方法，主要分为两大类，分别是基于回归的方法和基于卷积神经网络的方法。基于回归的方法是直接学习从图像外观到关键点位置的映射，其中最具代表性的是级联回归，该方法采用了由粗到精的策略，第k个阶段的形状增量Δs为：

Δs^t＝R^t(Φ^t(I,s^t-1))

其中，s^t-1表示前阶段的形状预测值，Φ^t为特征映射函数，R^t为阶段回归器。形状索引特征Φ^t(I,s^t-1)依赖于输入图像I和当前的形状估计，可以通过手工设计或者直接学习得到。在训练阶段，可以将若干个弱回归器串联在一起逐步减小训练集上的关键点定位误差。

基于卷积神经网络的方法则将通过提取图像的高层特征，对人脸外观到人脸形状的非线性映射进行建模。根据关键点回归方式的不同，又可以细分为数值坐标回归法和热图回归法，前者是通过卷积神经网络直接学习从RGB图像到关键点坐标的映射，而后者是通过预测与关键点对应的热图来间接推断关键点坐标。数值坐标回归法一般模型复杂度较低，速度较快，但往往在关键点数量较多时性能较差；基于热点图的关键点检测算法通过引入关键点热图，隐式建模了关键点的空间位置关系，所以其空间泛化能力较强，但由于其输出的特征图较大，所以该方法是在牺牲一定速度以及增大模型复杂度的情况下获得性能提升的。并且，这种方法需要额外的数据预处理和后处理过程，不能端到端的进行训练。以上两种回归方法中，常用的损失函数为L2损失，即欧氏距离损失，定义如下：

其中，s＝[x₁,...,x_L,y₁,...,y_L]^T表示关键点的真实坐标，s′＝φ(I)是模型预测的关键点坐标，φ(·)表示映射函数。

发明内容

本发明所要解决的技术问题在于，提供一种基于深度学习的带中继监督的序列化人脸关键点检测方法，在保证性能的同时，缩短训练过程，加快检测速度。

为解决上述技术问题，本发明提供一种基于深度学习的带中继监督的序列化人脸关键点检测方法，包括如下步骤：

(1)在训练时，手工标定人脸关键点作为训练样本，预先给定标定好或检测出的人脸框，对于每个人脸框，精确标定出每个关键点在框内的二维坐标；

(2)根据人脸框对训练样本进行数据预处理，包括数据增强操作以及数据归一化；

(3)设计基于中继监督的序列化检测模型，该模型是由三个级联的卷积神经网络模块组成，并且每个阶段的模块都输出大小相同的特征图作为预测关键点响应图；