[发明专利]一种表情识别方法及系统

说明书

本发明请求保护一种表情识别方法及系统，属于生物特征识别技术领域。所述方法包括步骤：获取人脸表情图片样本和对应的类别标签；根据所述人脸表情样本进行人脸检测和人脸对齐；建立深度神经网络模型，将所述人脸表情图片送入深度神经网络模型中提取特征，得到表情特征；根据表情类别标签选择多个三元组，每个三元组包括的三个样本来自不同的类别；根据所述表情特征和所述三元组计算第一个损失值；根据真实类别标签与所得表情特征计算交叉熵损失作为第二个损失值；将所述表情特征送入分类器进行分类，输出分类结果。本发明主要目的为重新调整负面表情之间的类间距离，改善负面表情识别效果差的问题。

技术领域

本发明属于生物特征识别技术领域，具体涉及一种表情识别方法及系统。

背景技术

人脸表情识别是通过对输入的人脸图片进行分析，判断当前输入的人脸图片属于哪一类表情。常见的表情识别方法通常是对七类基本表情进行分类，包括：开心、惊讶、中性、恐惧、厌恶、愤怒和伤心。

现有的表情识别方法大多数使用深度学习的卷积神经网络来提取人脸表情特征并且进行分类。目前方法共同存在的明显缺陷是负面表情的准确率明显低于正面表情的准确率。所谓正面表情即带有正面情绪的表情，包含开心和惊讶，负面表情即带有负面情绪的表情，包含恐惧、厌恶、愤怒、伤心。

造成负面表情效果差的原因有如下两点：

(1)负面表情样本相对较少。几乎所有表情数据集都存在该问题，负面表情的样本量小于正面表情样本量，尤其对于大型数据集，正负面表情样本量相差非常悬殊。该原因导致神经网络在有限的负面表情上，无法学习具有强鲁棒性的特征，最终导致测试过程中神经网络对负面表情不能进行准确判断。

(2)负面表情之间的脸部特征相似。表情的变化是由面部多个局部位置的运动组成，而负面表情对应的局部运动存在重叠，例如愤怒和厌恶都包含皱眉的动作。相似的脸部运动即相似的特征导致神经网络无法准确判断当前特征属于哪一类表情。

在现实中，人在带有负面情绪时，更容易做出过激和冲动的行为。在现实应用中，假设驾驶员的情绪监测或者病患状态的监测，在这些应用中均是在被观测者出现负面表情时需要他人进行干预，故准确识别负面表情尤为重要。

经过检索，申请公开号CN107358169A，一种人脸表情识别方法及人脸表情识别装置，包括：构建并训练基于卷积神经网络的情绪识别模型；将待识别的人脸图像输入所述情绪识别模型，以输出所述人脸图像的情绪类别，所述情绪类别包括正面情绪、负面情绪以及中立情绪中的一种；获取与所情绪类别对应的表情识别模型；将人脸图像输入所述表情识别模型，以输出所述人脸图像的表情类别。本发明通过分层次的方式来对人脸的表情进行识别，根据不同的情绪来选择不同的表情识别模型，减少了每个识别模型所需要记忆的内容，降低了整个表情识别过程的运算复杂度，提高了运算效率。

专利CN107358169A公开的方法是首先进行正面、负面、中性情绪的大类别判别，再根据不同大类别匹配不同的识别模型。由于负面表情识别效果差的原因是表情间特征相似，而该专利并没有对负面表情进行有针对性的操作，只是分割出一个独立的识别模型，但是在该独立的识别模型中，负面表情的特征依然是相似的，对负面表情的识别效果并没有改善。而本发明设计了一种新的三元组损失函数，并且可以通过控制三元组的类别来源实现重点对负面表情的类间距离进行调整，这种损失函数能够使负面表情类间距离增大，从而增强负面表情特征鉴别性。

申请公开号CN111353390A，一种基于深度学习的微表情识别方法，其包括如下步骤：1：对含有表情动作的视频数据裁剪、视频分帧，提取；2：对提取的表情序列进行人脸对齐，人脸裁剪，进行归一化等预处理；3：将得到的数据集进行数据增强操作；4：搭建神经网络模型：5：将所有人脸表情数据按比例分成训练集和测试集；6：使用测试集对模型进行测试，输出识别准确率，识别时间，误差等信息，当识别率达到要求，选择当前模型。