[发明专利]一种基于深度学习的带中继监督的序列化人脸关键点检测方法

权利要求书

1.一种基于深度学习的带中继监督的序列化人脸关键点检测方法，其特征在于，包括如下步骤：

(1)在训练时，手工标定人脸关键点作为训练样本，预先给定标定好或检测出的人脸框，对于每个人脸框，精确标定出每个关键点在框内的二维坐标；

(2)根据人脸框对训练样本进行数据预处理，包括数据增强操作以及数据归一化；

(3)设计基于中继监督的序列化检测模型，该模型是由三个级联的卷积神经网络模块组成，并且每个阶段的模块都输出大小相同的特征图作为预测关键点响应图；中继监督序列化检测模型具体为：输入RGB图像先经过浅层网络提取特征，作为第一个级联模块的输入；接着网络进入序列化预测阶段，每个级联模块都由卷积核大小为7×7、3×3或1×1的卷积层组成，且除第一个模块外，其他模块都是把第一个模块的输入特征，即原图上提取的浅层特征和上一个模块输出的特征图进行特征融合，共同作为该模块的输入特征，再进行特征提取和关键点预测，模块二与模块三的结构相同；

(4)在每个阶段输出的预测关键点响应图上采用软极大值函数，得到预测关键点位置，采用新的分段损失函数根据预测的关键点坐标计算每一阶段的损失值，并将三个阶段的损失值之和作为整个模型的损失值；分段损失函数定义如下：

其中，(-w,w)是该函数的非线性区，w为非负数，a为控制非线性部分的曲率，C＝w²-wln(1+w/a)是线性部分和非线性部分的分界点；

(5)在测试时，对于输入的待检测的人脸图像，先进行人脸检测得到人脸框位置，再根据人脸框对图像进行相应预处理，接着将图像送入步骤(3)中的序列化检测模型中获得精确的人脸关键点位置。

2.如权利要求1所述的基于深度学习的带中继监督的序列化人脸关键点检测方法，其特征在于，步骤(3)中，先设计浅层网络结构，其输入图像大小为256×256，具体结构见下表：

3.如权利要求1所述的基于深度学习的带中继监督的序列化人脸关键点检测方法，其特征在于，步骤(3)中，在浅层网络之后设计由三个模块组成的级联结构进行关键点的序列化预测，输入特征图大小为32×32，每个模块的输出特征图大小也是32×32。

4.如权利要求1所述的基于深度学习的带中继监督的序列化人脸关键点检测方法，其特征在于，步骤(4)中，软极大值函数通过分组卷积实现，即将权重矩阵W_i,j,x和W_i,j,y作为卷积操作中卷积核的权重参数，提高算法效率，其中W_W,H,2是大小为W×H×2的权重矩阵，与坐标值(x,y)有关，用W_i,j,x和W_i,j,y分别表示：其中，W和H为权重矩阵的维数，i和j分别为W和H对应的取值；分组卷积就是对传统卷积进行分通道隔离，这里的分组个数为通道数，即关键点个数。

5.如权利要求2或3所述的基于深度学习的带中继监督的序列化人脸关键点检测方法，其特征在于，在进行网络模型训练时采用分层训练策略，对于浅层网络部分，以基础学习率对权重进行更新，且权值衰减系数为基础权值衰减系数；以基础学习率的2倍对偏置进行更新，且权值衰减系数为0；对于序列化预测部分，以基础学习率的4倍对权重进行更新，且权值衰减系数为基础权值衰减系数；以基础学习率的8倍对偏置进行更新，且权值衰减系数为0。