[发明专利]基于面部朝向、面部表情及瞳孔追踪的注意力检测方法

权利要求书

1.一种基于面部朝向、面部表情及瞳孔追踪的注意力检测方法，其特征在于，包括：

获取包含被评估者头像的目标图像帧；

从所述目标图像帧中提取出所述被评估者的人脸图像；

对所述人脸图像的像素值进行归一化处理；

将归一化处理后的所述人脸图像的各像素点的像素值作为预先训练的人脸关键点检测模型的输入进行运算，得到所述人脸图像中的多个关键点坐标，所述多个关键点坐标中包括眼部轮廓坐标；

依据所述多个关键点坐标、预置相机内参数矩阵和预置相机畸变参数确定出所述被评估者的面部朝向角度；

基于所述眼部轮廓坐标从所述人脸图像中提取出所述被评估者的眼部区域图像；

依据所述眼部区域图像确定出所述被评估者的眼睛瞳孔位置；

基于所述眼部区域图像和所述眼睛瞳孔位置确定出所述被评估者的瞳孔偏转度参数；

将归一化处理后的所述人脸图像的各像素点的像素值作为预先训练的面部情绪识别模型的输入进行运算，得到与所述被评估者对应的第一表情参数和第二表情参数，所述第一表情参数表征所述被评估者的积极/消极程度，所述第二表情参数表征所述被评估者的清醒/困倦程度；

基于所述面部朝向角度、所述瞳孔偏转度参数、所述第一表情参数和所述第二表情参数确定出与所述被评估者对应的注意力参数，所述注意力参数表征所述被评估者的注意力集中程度。

2.根据权利要求1所述的方法，其特征在于，所述目标图像帧的格式为RGB格式，所述从所述目标图像帧中提取出所述被评估者的人脸图像，包括：

将所述目标图像帧的图像通道顺序转换为RGB；

将图像通道顺序转换为RGB后的所述目标图像帧缩放至第一指定尺寸；

将缩放至第一指定尺寸大小的所述目标图像帧进行归一化处理；

将归一化处理的所述目标图像帧的各像素点的像素值所构成的矩阵作为预先训练的人脸检测模型的输入进行运算，得到人脸边界点坐标；

基于所述人脸边界点坐标从所述目标图像帧中提取出所述人脸图像。

3.根据权利要求2所述的方法，其特征在于，所述人脸边界点坐标包括第一边界点坐标和第二边界点坐标，所述基于所述人脸边界点坐标从所述目标图像帧中提取出所述人脸图像，包括：

以所述第一边界点坐标和所述第二边界点坐标为对角，从所述目标图像帧中提取出矩形的所述人脸图像。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述人脸图像缩放至第二指定尺寸；

所述对所述人脸图像的像素值进行归一化处理，包括：

对缩放至第二指定尺寸的所述人脸图像的像素值进行归一化处理。

5.根据权利要求1所述的方法，其特征在于，所述依据所述多个关键点坐标、预置相机内参数矩阵和预置相机畸变参数确定出所述被评估者的面部朝向角度，包括：

依据所述多个关键点坐标、所述预置相机内参数矩阵和所述预置相机畸变参数，确定出与所述多个关键点坐标一一对应的多个头部三维关键点基准坐标；

根据所述预置相机内参数矩阵、所述预置相机畸变参数、目标关键点坐标和目标头部三维关键点基准坐标，确定出相机的旋转向量和变换向量；

将所述旋转向量转换为旋转矩阵；

将所述旋转矩阵与所述变换向量拼接，得到姿态矩阵；

分解所述姿态矩阵，得到所述被评估者的面部朝向角度；

其中，所述目标关键点坐标为所述多个关键点坐标中的其中一个，所述目标头部三维关键点基准坐标为与所述目标关键点坐标对应的头部三维关键点基准坐标。