[发明专利]一种智能专注力的检测方法

权利要求书

1.一种智能专注力检测方法，其特征在于，包括如下步骤：

S1、算法初始化；所述算法包括：人脸检测算法、人脸识别算法、面部关键点提取算法、头姿态估计算法、面部属性检测算法、面部特征信息提取算法；

S2、数据提取；采集被检测者进行自然状态下专注行为图像，提取每帧图像的数字坐标，将每帧图像提取到的坐标信息记为一个数据项；

S3、数据标注；以视频序列对应数据项进行人工专注行为信息标注，判定是否专注；

S4、模型拟合；分析在时间轴定锚点的专注行为标注信息，生成微动作数据序列，将微动作数据序列的标注值记为LABEL，微动作数据序列中的数据记为MOTION_DATA_SEQ，将面部特征高维矩阵记为FACE_FEAT，FLATTEN_FEAT代表高维矩阵FACE_FEAT展开的一维序列；

以[INPUT,LABEL]数据对的形式，批量输入到GBDT算法模型，其中INPUT＝[MOTION_DATA_SEQ,FLATTEN_FEAT]，执行监督学习训练，最终得到训练好的模型记为MODEL；

S5、模型运算；将INPUT值输入到训练好的GBDT算法模型MODEL中，输出OUTPUT＝MODEL(INPUT＝[MOTION_DATA_SEQ,FLATTEN_FEAT])，OUTPUT包括两个值OUT1和OUT2；

采用判定函数J(OUTPUT)进行分类判定，

J(OUTPUT)＝SoftMax(OUTPUT)＝SoftMax([OUT1,OUT2])＝[exp(OUT1)/A,exp(OUT2)/A]，其中A＝exp(OUT1)+exp(OUT2)，

判定函数J(OUTPUT)的最终返回值分别为专注和非专注的评分。

2.根据权利要求1所述的智能专注力检测方法，其特征在于，步骤S2中，对每帧图像进行由人脸检测算法、面部关键点算法和面部属性检测算法构成的深度神经网络模型处理，拼接为向量数据。

3.根据权利要求2所述的智能专注力检测方法，其特征在于，所述人脸检测算法采用bounding boxes预测模型检测图像中人脸框位置，步骤如下：

S21、利用Pnet模型对原始图片生成多层图像金字塔，对多层图像金字塔进行初步特征提取与标定边框后，进行调整窗口与过滤，生成bounding boxes；

S22、输入原始图片和利用Pnet模型生成的bounding boxes，利用Rnet模型，滤除效果差的候选窗口，并对选定的候选窗口进行优化预测，生成校正后的bounding boxes；

S23、输入原始图片和RNet生成的校正后的bounding boxes，利用Onet模型，进行人脸判别、人脸区域边框回归和人脸特征定位，最终输出人脸区域的左上角坐标和右下角坐标与人脸区域的五个特征点，作为最终的网络模型输出。

4.根据权利要求2所述的智能专注力检测方法，其特征在于，步骤S1中，所述人脸检测算法返回人脸框位置坐标RECT(X,Y,W,H)；

所述面部关键点提取算法返回面部五个关键点坐标；

所述头姿态估计算法为以[摇摆,俯仰，翻滚]为标识的三轴头部角度信息；

所述面部属性检测算法包含睁闭眼和开合嘴布尔真值[LEFT_EYE,RIGHT_EYE,MOUTH]；

所述面部特征信息为深度神经网络模型提取的高维矩阵，深度卷积神经网络模型采用多层[卷积+激活+池化]组合结构,加入跳跃连接提取深层次面部特征，输出面部特征高维矩阵FACE_FEAT。

5.根据权利要求4所述的智能专注力检测方法，其特征在于，步骤S5中，面部特征高维矩阵FACE_FEAT，表示为：人脸位置坐标+面部关键点坐标序列+三维头姿数据+面部属性：[RECT(X,Y,W,H),LEFT_EYE_X,LEFT_EYE_Y,RIGHT_EYE_X,RIGHT_EYE_Y,NOSE_X,NOSE_Y,MOUTH_LEFT_X,MOUTH_LEFT_Y,MOUTH_RIGHT_X,MOUTH_RIGHT_Y,YAW,PITCH，ROLL,LEFT_EYE,RIGHT_EYE,MOUTH*M*N]。