[发明专利]基于层次化卷积神经网络的用户专注度识别方法及系统

说明书

本发明涉一种基于层次化卷积神经网络的用户专注度识别方法，包括如下步骤：获取人脸正面图像；根据所述人脸正面图像，利用两种均匀模式的局部二元模式算子计算所述人脸正面图像对应的特征编码图；根据两种均匀模式下的所述特征编码图和所述人脸正面图像，采用GoogLeNet改进分类器进行分类处理获取用户情绪，根据所述情绪获取用户专注度。还对应提供了一种基于层次化卷积神经网络的用户专注度识别系统。本发明所获取的用户专注度结果准确，能够精细分解。

技术领域

本发明涉及图像处理领域，具体而言，涉及智能电视系统中基于层次化卷积神经网络的用户专注度识别方法和基于层次化卷积神经网络的用户专注度识别系统。

背景技术

随着机器学习的大热，传统的人机交互方式逐渐被淘汰。如今智能电视系统飞速发展，如何将智能电视系统与机器学习结合，从而提供更加方便快捷和人性化的服务是值得探讨的问题。人脸识别技术是利用分析比较人脸视觉特征信息进行身份鉴别的计算机技术，是较为热门的技术研究领域，属于生物特征识别领域，将此种技术应用在电视系统中，可以给用户提供全新的体验，根据用户的情绪特征提供更人性化的服务。现有的智能电视中情绪分类或者用户专注度分类过于粗糙。

发明内容

针对现有多种人脸情绪识别的算法，结合智能电视系统的特点与要求，本发明提供了一种情绪分类精细的用户专注度识别技术，具体地，本发明第一方面提供了一种基于层次化卷积神经网络的用户专注度识别方法，包括如下步骤：

S110获取人脸正面图像；

S120根据所述人脸正面图像，利用两种均匀模式的局部二元模式算子计算所述人脸正面图像对应的特征编码图；

S130根据两种均匀模式下的所述特征编码图和所述人脸正面图像，采用GoogLeNet改进分类器进行分类处理获取用户情绪，根据所述情绪获取用户专注度。

进一步地，所述步骤S110包括

S111获取人脸拍摄图像；

S112根据通过回归的方式建立的二维平面中人脸关键点与三维空间的人脸旋转角度的关系判断所述人脸拍摄图像是否属于正面拍摄，如判断为是，将所述人脸拍摄图像作为人脸正面拍摄图像；

S113对所述人脸正面拍摄图像进行直方图均衡化处理，将处理后获取的图像作为所述人脸正面图像。

进一步地，所述用户情绪包括中性、大笑、微笑、露齿笑、生气、愤怒，所述步骤S130中具体包括：

S131采用基于GoogLeNet改进的分类器进行分类处理获取用户情绪，并获取对应的特征向量组α₁和α₂，若判定所述用户情绪为中性，则完成分类，并根据所述情绪输出用户专注度。

进一步地，所述步骤S131中若判定所述用户情绪为非中性时，所述步骤S130还包括如下步骤：

S132对所述人脸正面图像进行灰度变换生成人脸灰度正面图像，将所述人脸灰度正面图像和所述人脸正面拍摄图像输入到所述GoogLeNet改进分类器进行分类处理，获取对应特征向量组α₃；

S133根据特征向量组α₁、α₂和α₃，利用线性组合公式进行融合获取特征向量组α₄；

S134将特征向量组α₄输入到基于AlexNet改进的神经网络中，进行识别处理，最终得到精分类结果，并依据精分类结果输出用户的专注度，所述精分类结果包括大笑、微笑、露齿笑、生气、愤怒。