[发明专利]一种基于深度学习的人脸关键点定位方法

权利要求书

1.一种基于深度学习的人脸关键点定位方法，其特征在于，其包括以下步骤：

构建骨干网络模型：采用普通卷积层外加堆叠数个Mobilenet V2 block构建骨干网络模型以实现模型轻量化，并在骨干网络模型中采用高阶特征结合低阶特征的方式进行人脸关键点位置训练和预测；

增强离线数据：在-30°至+30°内每隔3度对采集到的原始人脸图像训练数据进行一次旋转，再进行一次水平翻转，从而得到扩充后的人脸图像训练数据；

增强灰度：对扩充后的人脸图像训练数据进行灰度转换以获得人脸灰度图像训练数据；

模型训练过程中考虑标注误差的训练损失和丢弃部分简单样本：对每个人脸关键点产生的损失设置不同的损失权重，将人脸灰度图像训练数据、每个人脸关键点对应的损失权重以及人脸灰度图像对应的标注人脸关键点代入骨干网络模型中进行训练，在训练过程中，基于骨干网络模型训练出的各个人脸关键点与对应标注的人脸关键点计算出误差值，基于误差值设定阈值，将人脸灰度图像训练数据对应的值与阈值进行比较，若低于则丢弃该人脸灰度图像训练数据，否则保留该人脸灰度图像训练数据进行模型训练。

2.如权利要求1所述的基于深度学习的人脸关键点定位方法，其特征在于，构建骨干网络模型：骨干网络模型依次包括普通卷积层和4个Mobilenet V2 Block，在骨干网络模型的尾部，通过长宽为7的卷积核将特征图处理成1×1的高阶特征值，将最后一层Mobilenet V2Block和卷积核特征图进行全局平均池化，分别得到相应低阶且维度为1×1的特征值，并与高阶特征值进行拼接，然后由一层全连接层进行人脸68个关键点的位置训练和预测。

3.如权利要求1所述的基于深度学习的人脸关键点定位方法，其特征在于，增强离线数据：在-30°至+30°内每隔3度对原始人脸图像训练数据进行一次旋转，每次旋转得到旋转之后的landmark、以及该次旋转所对应的旋转矩阵M，由landmark计算面部区域face_gt，使用旋转矩阵M对原始人脸图像进行仿射变换，得到变换后的图像ImgT，使用人脸检测算法，从图像ImgT中检测人脸图像face_detect，使用人脸图像face_detect与面部区域face_gt的IOU值来判定所检测的人脸图像face_detect是否是所需要的人脸图像，在满足IOU值条件之后，使用人脸图像face_detect的图像边界对landmark进行归一化，以便算法更快收敛。

4.如权利要求3所述的基于深度学习的人脸关键点定位方法，其特征在于，对所得到的人脸图像face_detect以及归一化的landmark做水平翻转进行数据增强，并将翻转前后的人脸图像和landmark分别存储，以备模型训练调用。

5.如权利要求1所述的基于深度学习的人脸关键点定位方法，其特征在于，增强灰度：步骤S21、将扩充后的人脸图像训练数据转换至灰度空间，以获取训练图像的灰度图；

步骤S22、对步骤S21所得到的灰度图进行亮度增强，对灰度图的每个像素值乘以大于1的增强系数，之后在0～255范围内对灰度图各像素值进行截断；

步骤S23、使用步骤S22所获得的经过亮度增强的灰度图进行训练，得到图像算法模型，该图像算法模型在生产环境上线后，进行人脸关键点预测时，先将图像转换至灰度空间，并进行亮度增强，但是此时使用的增强系数应小于训练时所使用的增强系数。

6.如权利要求1所述的基于深度学习的人脸关键点定位方法，其特征在于，步骤S1、计算人脸面部各关键点所产生的推理损失：

式(1)中，N为人脸面部关键点数量，l_m为人脸灰度图像训练数据中一个分组batch中第m个样本的损失，p_n为神经网络推断出的第n个关键点的坐标，为经过数据增强处理的标注点坐标，二者的L2距离即为推理误差，w_n为加权系数，不同位置面部关键点设置不同的加权系数，按照公式(1)计算出一个分组batch中各样本所产生的损失；

步骤S2、计算简单样本和困难样本划分阈值；

式(2)中，M为分组batch大小，α为调节系数，公式首先计算整个batch所产生的损失均值，将该均值乘以α得到划分阈值thod，低于该阈值为简单样本，高于该阈值为困难样本，α越小，则简单样本数量越少；

步骤S3、使用threshVal筛选剔除简单样本；

式(3)中，mask_m为样本难易程度标识，0：简单样本，1：困难样本，若该样本为简单样本，则忽略该样本，使用所有困难样本，组成新分组batch2；

步骤S4、计算新分组batch2的样本数量；

式(4)中，BS即为batch2的样本数量；

步骤S5、计算batch2的平均损失，以进行反向传播；

式(5)中，L即为该次训练batch反向传播所使用的平均损失。