[发明专利]基于层次化卷积神经网络的用户专注度识别方法及系统

权利要求书

1.一种基于层次化卷积神经网络的用户专注度识别方法，其特征在于，包括如下步骤：

S110获取人脸正面图像；

S120根据所述人脸正面图像，利用两种均匀模式的局部二元模式算子计算所述人脸正面图像对应的特征编码图；

S130根据两种均匀模式下的所述特征编码图和所述人脸正面图像，采用GoogLeNet改进分类器进行分类处理获取用户情绪，根据所述情绪获取用户专注度；

其中，所述用户情绪包括中性、大笑、微笑、露齿笑、生气、愤怒，所述步骤S130中具体包括：

S131采用基于GoogLeNet改进的分类器进行分类处理获取用户情绪，并获取对应的特征向量组α₁和α₂，若判定所述用户情绪为中性，则完成分类，并根据所述情绪输出用户专注度；

S132对所述人脸正面图像进行灰度变换生成人脸灰度正面图像，将所述人脸灰度正面图像和所述人脸正面拍摄图像输入到所述GoogLeNet改进分类器进行分类处理，获取对应特征向量组α₃；

S133根据特征向量组α₁、α₂和α₃，利用线性组合公式进行融合获取特征向量组α₄；

S134将特征向量组α₄输入到基于AlexNet改进的神经网络中，进行识别处理，最终得到精分类结果，并依据精分类结果输出用户的专注度，所述精分类结果包括大笑、微笑、露齿笑、生气、愤怒。

2.根据权利要求1所述的基于层次化卷积神经网络的用户专注度识别方法，其特征在于，所述步骤S110包括

S111获取人脸拍摄图像；

S112根据通过回归的方式建立的二维平面中人脸关键点与三维空间的人脸旋转角度的关系判断所述人脸拍摄图像是否属于正面拍摄，如判断为是，将所述人脸拍摄图像作为人脸正面拍摄图像；

S113对所述人脸正面拍摄图像进行直方图均衡化处理，将处理后获取的图像作为所述人脸正面图像。

3.根据权利要求1所述的基于层次化卷积神经网络的用户专注度识别方法，其特征在于，所述步骤S133中，利用α₄＝1/3*α₁+1/3*α₂+1/3*α₃，获取特征向量组α₄。

4.根据权利要求1所述的基于层次化卷积神经网络的用户专注度识别方法，其特征在于，所述步骤S120中采用的算子分别为，样本点数为8,半径分别为1和3的圆形LBP算子。

5.根据权利要求1～4任一所述的基于层次化卷积神经网络的用户专注度识别方法，其特征在于，所述GoogLeNet改进分类器的改进点为：在GoogLeNet的基础上加入了残差层，将前一层网络的输出和中间网络的输出结果结合起来，作为后一层网络的输出；去除了冗余的网络层。

6.根据权利要求1或3所述的基于层次化卷积神经网络的用户专注度识别方法，其特征在于，所述基于AlexNet改进的神经网络为，在Alexnet基础上将第一层的大的卷积层改为3*3的小卷积，同时采用了batchnorm，对卷积层的kernel个数进行了调整，最终的loss采用softmax和改进的centerloss结合的方式。

7.根据权利要求1或3任一所述的基于层次化卷积神经网络的用户专注度识别方法，其特征在于，根据所述情绪获取用户专注度的步骤包括，当所述情绪为中性时，所述用户专注度值在80％～100％之间；当所述情绪为大笑、微笑、露齿笑时，所述用户专注度值在60％～79％之间；当所述情绪为生气、愤怒时，所述用户专注度值在0％～59％之间。