[发明专利]一种人脸注意力判断方法、装置、设备及存储介质

说明书

本发明实施例公开了一种人脸注意力判断方法、装置、设备及存储介质。其中，该方法包括：获取人脸图像；利用预先训练的多任务卷积神经网络对所述人脸图像进行处理，确定人脸框位置、人脸朝向和人脸姿态；依据所述人脸朝向和人脸姿态确定粗力度的人脸朝向方向和细力度的人脸姿态朝向角度；依据所述人脸框位置、人脸朝向和人脸姿态确定人脸注意力结果。本发明实施例将确定人脸朝向和注意力结果的过程合并，通过确定人脸朝向信息得到人脸注意力专注结果，提高了注意力判断的效率，节省判断时间，使算法复杂度降低。

技术领域

本发明实施例涉及图像处理技术，尤其涉及一种人脸注意力判断方法、装置、设备及存储介质。

背景技术

人脸注意力判断应用在许多方面，可以了解到线上课堂中学生的认真程度，可以监测驾驶员的驾驶状态，在远程技术、安全检查、信息安全等方面都发挥了巨大的作用。

目前人脸朝向识别方法通常利用双目摄像头或深度摄像头采集图像，在检测到人脸区域后获取含有人脸区域的深度图像信息，判定人脸具体朝向。人脸注意力判断方法通常依托统计人眼视线朝向的方式实现，利用传感器设备采集图像，检测人脸区域，提取人眼区域，利用深度学习等技术实现人眼视线检测，输出人眼视线方向，从而进行注意力的判断。

但现有技术实现过程复杂，人脸朝向和注意力判断两个任务单独处理，没有交集，如果想通过人脸朝向推断注意力则需要对每帧进行两次顺序算法处理操作，浪费时间，不利于推广和使用。

发明内容

本发明实施例提供一种人脸注意力判断方法、装置、设备及存储介质，以解决现有技术实现过程复杂、效率低的问题。

第一方面，本发明实施例提供了一种人脸注意力判断方法，包括：

获取人脸图像；

利用预先训练的多任务卷积神经网络对所述人脸图像进行处理，确定人脸框位置、人脸朝向和人脸姿态；

依据所述人脸朝向和人脸姿态确定粗力度的人脸朝向方向和细力度的人脸姿态朝向角度；

依据所述人脸框位置、人脸朝向方向和人脸姿态朝向角度确定人脸注意力结果。

可选的，所述依据所述人脸框位置、人脸朝向方向和人脸姿态朝向角度确定人脸注意力结果，包括：

分别依据每帧人脸图像的人脸框位置的坐标、人脸朝向的方向和人脸姿态的朝向角度进行加权求和确定单帧人脸注意力值；

依据各单帧人脸注意力值确定当前人脸注意力结果。

可选的，所述依据各单帧人脸注意力值确定当前人脸注意力结果，包括：

依据各单帧人脸注意力值拟合一个周期内的人脸注意力平均值，作为所述当前人脸注意力结果；和/或

依据最小二乘法将各单帧人脸注意力值拟合一个周期内的人脸注意力曲线，作为所述当前人脸注意力结果。

可选的，所述方法还包括：

根据所述人脸注意力结果、所述人脸朝向与预先确定的规则确定专注状态参数。

第二方面，本发明实施例还提供了一种人脸注意力判断装置，包括：

图像获取模块，用于获取人脸图像；

图像处理模块，用于利用预先训练的多任务卷积神经网络对所述人脸图像进行处理，确定人脸框位置、人脸朝向和人脸姿态；

人脸方向角度确定模块，用于依据所述人脸朝向和人脸姿态确定粗力度的人脸朝向方向和细力度的人脸姿态朝向角度；

注意力确定模块，用于依据所述人脸框位置、人脸朝向方向和人脸姿态朝向角度确定人脸注意力结果。