[发明专利]一种人脸关键点处理方法、装置及设备

权利要求书

1.一种人脸关键点处理方法，针对同一人脸连续采集了多帧人脸图像，所述方法包括：

将当前帧的人脸图像输入预先训练的人脸关键点模型，预测得到多个预设区域的人脸基础关键点，并预测得到所述多个预设区域中的指定区域的人脸补充关键点；

确定根据当前帧之前的各帧人脸图像更新得到的人脸基础关键点集合和人脸补充关键点集合，所述人脸基础关键点集合和所述人脸补充关键点集合用于进行图像处理；

根据分别为上一帧的人脸图像和当前帧的人脸图像预测的人脸基础关键点和人脸补充关键点，进行人脸运动检测；

根据所述人脸运动检测的结果，若确定所述指定区域发生了人脸运动，则根据为当前帧的人脸图像预测的人脸补充关键点，对所述人脸补充关键点集合进行更新，以便相应地更新所述图像处理。

2.根据权利要求1所述的方法，所述将当前帧的人脸图像输入预先训练的人脸关键点模型之前，所述方法还包括：

获取在所述多个预设区域标注人脸基础关键点的第一人脸训练图像集合；

根据所述第一人脸训练图像集合，训练由骨干网络和基础预测头组成的深度网络模型，得到基础关键点模型；

获取单独在所述指定区域标注了补充人脸关键点的第二人脸训练图像集合；

固定所述基础关键点模型中的已训练的网络参数，并在所述基础关键点模型中新增补充预测头，根据所述第二人脸训练图像集合训练所述补充预测头，将所述补充预测头训练后的所述基础关键点模型作为所述人脸关键点模型。

3.根据权利要求1所述的方法，所述根据分别为上一帧的人脸图像和当前帧的人脸图像预测的人脸基础关键点和补充人脸关键点，进行人脸运动检测，具体包括：

计算分别为所述上一帧的人脸图像和当前帧的人脸图像预测的对应的至少部分人脸基础关键点之间的距离参数，和/或分别为所述上一帧的人脸图像与当前帧的人脸图像预测的对应的至少部分人脸补充关键点之间的距离参数；

根据所述计算出的距离参数和设定的距离阈值，进行人脸运动检测。

4.根据权利要求3所述的方法，所述距离阈值按照如下方式设定：

根据所述同一人脸中的指定部位的尺寸生成低阈值和高阈值；

初始时将所述距离阈值设置为所述低阈值；

对于当前帧之前的若干帧人脸图像，若被判定为发生了人脸运动的人脸图像的数量大于设定阈值，则仍然将所述距离阈值设置为所述低阈值，否则，将所述距离阈值设置为所述高阈值。

5.根据权利要求1或3所述的方法，所述进行人脸运动检测，具体包括：

对人脸全局进行全局运动检测；

根据所述全局运动检测的结果，若确定未发生全局的人脸运动，则对一个或者多个人脸局部区域进行局部运动检测，以确定所述人脸局部区域是否发生了人脸运动，所述一个或者多个人脸局部区域至少包括所述指定区域。

6.根据权利要求5所述的方法，所述方法还包括：

根据所述全局运动检测的结果，若确定发生了全局的人脸运动，则本次不再对所述一个或者多个人脸局部区域进行局部运动检测；

根据为当前帧的人脸图像预测的反映所述全局的人脸运动的至少部分关键点，对所述人脸基础关键点集合和/或所述人脸补充关键点集合进行更新。

7.根据权利要求5所述的方法，所述根据分别为上一帧的人脸图像和当前帧的人脸图像预测的人脸基础关键点和补充人脸关键点，进行人脸运动检测，具体包括：

在为当前帧的人脸图像预测的人脸基础关键点和人脸补充关键点中分别选取部分关键点；

根据所述选取的关键点，确定一个反映人脸全局的全局关键点子集合，用于进行所述全局运动检测，以及一个或者多个分别反映不同的人脸局部区域的局部关键点子集合，用于进行对应的人脸局部区域的所述局部运动检测。