[发明专利]面部情绪识别方法、装置及存储介质

说明书

技术领域

本发明涉及计算机视觉处理技术领域，尤其涉及一种面部情绪识别方法、装置及计算机可读存储介质。

背景技术

在人们的日常交流中，通过语言来传递的信息占7％，通过声音来传递的信息占38％，而通过面部表情来传递的信息则达到55％。由此可见人脸表情是人类交流的重要载体和非语言交流的一种重要方式，它不仅能够表达人类的情感状态、认知活动和人格特征，而且它所富含的人体行为信息与人的情感状态、精神状态、健康状态等其他因素有着极为密切的关联。人脸情绪识别是人机交互与情感计算研究的重要组成部分，涉及心理学、社会学、人类学、生命科学、认知科学、计算机科学等研究领域，对人机交互智能化和谐化极具意义。

随着人工智能技术的不断发展以及人们对于交互体验要求的不断提高，智能交互方式已逐渐开始替代一些传统的人机交互方式，且对人脸情绪识别的要求也不断提高。

现阶段的人脸情绪识别一般是通过收集大量情绪样本，对样本进行整理，分成几类，训练出情绪识别模型，用来进行情绪识别，但该方法以单一的方式进行识别，然而，单一的情绪识别方法无法达到准确识别面部情绪效果，且单一方法在情绪识别所获取的数据有限，判断机制单一，故存在识别的准确度低、误差大和容易受外界因素影响等问题。

发明内容

本发明提供一种面部情绪识别方法、装置及计算机可读存储介质，其主要目的在于根据嘴唇特征点的坐标计算实时脸部图像中嘴唇的运动信息，实现对嘴唇区域的分析及对嘴唇动作的实时捕捉。

为实现上述目的，本发明提供一种电子装置，该装置包括：存储器、处理器及摄像装置，所述存储器中包括面部情绪识别程序，所述面部情绪识别程序被所述处理器执行时实现如下步骤：

实时脸部图像获取步骤：获取摄像装置拍摄的实时图像，利用人脸识别算法从该实时图像中提取一张实时脸部图像；

情绪识别步骤：将该实时脸部图像输入预先训练好的第一情绪分类模型及第二情绪分类模型进行情绪识别，得到每种情绪的第一概率及第二概率；及

情绪判断步骤：根据第一情绪分类模型、第二情绪分类模型识别出的情绪及概率，判断该实时脸部图像中的情绪。

可选地，所述第一情绪分类模型及第二情绪分类模型的训练步骤包括：

特征点提取步骤：建立一个人脸样本库，在每张人脸样本图像中标记t个面部特征点；

特征向量计算步骤：将各个面部特征点的坐标与该人脸样本图像中规范化后的人脸区域的宽度及高度进行除运算，得到人脸样本图像的特征向量；

第一模型训练步骤：利用所述人脸样本图像及其特征向量对支持向量机分类器进行学习训练，得到第一情绪分类模型；

情绪标签分配步骤：给每张人脸样本图像分配一个情绪标签，并根据情绪标签对人脸样本库中的人脸样本图像进行分类；及

第二模型训练步骤：利用分类后的人脸样本图像对卷积神经网络进行学习训练，得到第二情绪分类模型。

可选地，所述情绪判断步骤包括：

判断所述第一情绪分类模型、第二情绪分类模型识别出的一种或多种情绪是否相同。

可选地，所述情绪判断步骤还包括：

当第一情绪分类模型、第二情绪分类模型识别出的是相同的一种或多种情绪，计算各情绪的第一概率、第二概率的均值，以第一概率、第二概率的均值中较大值对应的情绪作为从该实时图像中识别到的情绪；或

当第一情绪分类模型、第二情绪分类模型识别出的是不同的一种或多种情绪，以第一概率、第二概率中较大值对应的情绪作为从该实时图像中识别到的情绪。

此外，为实现上述目的，本发明还提供一种面部情绪识别方法，该方法包括：

实时脸部图像获取步骤：获取摄像装置拍摄的实时图像，利用人脸识别算法从该实时图像中提取一张实时脸部图像；

情绪识别步骤：将该实时脸部图像输入预先训练好的第一情绪分类模型及第二情绪分类模型进行情绪识别，得到每种情绪的第一概率及第二概率；及

情绪判断步骤：根据第一情绪分类模型、第二情绪分类模型识别出的情绪及概率，判断该实时脸部图像中的情绪。

可选地，所述第一情绪分类模型及第二情绪分类模型的训练步骤包括：

特征点提取步骤：建立一个人脸样本库，在每张人脸样本图像中标记t个面部特征点；

特征向量计算步骤：将各个面部特征点的坐标与该人脸样本图像中规范化后的人脸区域的宽度及高度进行除运算，得到人脸样本图像的特征向量；