[发明专利]一种人脸关键点检测的模型训练方法、检测方法、装置，及终端设备

说明书

本发明公开了一种人脸关键点检测的模型训练方法、检测方法、装置，及终端设备，其中模型训练方法包括：步骤1，采集包含人脸的原始图像，标注处N个人脸关键点坐标，构建原始训练集；步骤2：获取人脸区域框，并对人脸区域框进行随机放大，得到构建增广训练集；步骤3，对增广数据集进行图像预处理；步骤4，获取增广数据集图像的欧拉角度标签；步骤5，对人脸关键点检测模型进行训练，基于该模型训练方法得到的网络进行人脸关键点的检测，可以在保证精度的情况下提高检测速度。

技术领域

本发明涉及计算机视觉和人脸识别技术领域，具体涉及一种人脸关键点检测的模型训练方法、检测方法、装置，及终端设备。

背景技术

人脸关键点检测的重点是对给定的人脸图像进行关键点定位，关键点是人为定义的、用于表示人脸五官和轮廓上的某些点。如何精准高效的定位关键点是人脸分析及识别的重要前提。目前人脸关键点检测方法主要有基于ASM(Active Shape Model)和AAM(Active Appearnce Model)的传统方法、基于CSR(Cascaded Shape Regression)的方法、基于深度学习的方法，但是现有方法很难保证精度的情况下实现快速检测。

发明内容

为了克服现有技术的不足，本公开实施例提供了一种人脸关键点检测的模型训练方法、检测方法、装置，及终端设备，可以在保证精度的情况下提高检测速度。技术方案如下：

第一方面，提供了一种人脸关键点检测的模型训练方法，该方法包括如下步骤：

步骤1，采集包含人脸的原始图像，标注处N个人脸关键点坐标，人脸关键点坐标是相对于原始图像的坐标，原图宽为width，高为height，构建原始训练集。

步骤2：获取人脸区域框，并对人脸区域框进行随机放大，得到构建增广训练集；

计算每个图像关键点的最大最小横纵坐标，构成原始人脸区域框src_box(x_min，y_min，x_max，y_max)，对人脸区域框使用随机放大的方法得到num组放大后的人脸区域enlarge_box(x_min’，y_min’，x_max’，y_max’)，并对应将相对原始图像的关键点坐标转换为相对enlarge_box的关键点坐标，从而构建增广训练集。

步骤3，对增广数据集进行图像预处理。

步骤4，获取增广数据集图像的欧拉角度标签。

从人脸关键点中获取左眼角，右眼角，鼻尖，左嘴角，右嘴角，下颌共六个点的坐标，计算旋转矩阵，再转换为欧拉角；所述欧拉角包括俯仰角pitch、偏航角raw、翻滚角roll三个角度。

步骤5，对人脸关键点检测模型进行训练，

采用增广训练集，以训练集中的图像与其关键点，及其欧拉角度标签为输入，对输入图像使用基础特征提取模块，得到基础特征部分，再采用关键点网络主分支和角度网络辅助分支分别对基础特征部分进行预测。

关键点网络主分支包括第一尺度特征提取模块、第二尺度特征提取模块、第三尺度特征提取模块和关键点回归预测模块，对基础特征部分提取第一尺度特征；继续对第一尺度特征提取得到第二尺度特征；再对第二尺度特征提取得到第三尺度特征；最后融合所有三个尺度的特征作为关键点回归预测模块的输入，得到预测的关键点。

角度网络辅助分支包括欧拉角度特征提取模块和欧拉角度特征预测模块，对基础特征部分使用欧拉角度特征提取模块提取欧拉角度特征，再使用欧拉角度特征预测模块，得到预测的欧拉角度。