[发明专利]一种表情识别方法及系统

权利要求书

1.一种表情识别方法，其特征在于，包括以下步骤：

获取人脸表情图片样本和对应的类别标签；根据所述人脸表情样本进行人脸检测和人脸对齐；

建立深度神经网络模型，将所述人脸表情图片送入深度神经网络模型中提取特征，得到表情特征；

根据表情类别标签选择多个三元组，每个三元组包括的三个样本来自不同的类别；

根据所述表情特征和所述三元组计算第一个损失值；

根据真实类别标签与所得表情特征计算交叉熵损失作为第二个损失值；

将所述表情特征送入分类器进行分类，输出分类结果。

2.根据权利要求1所述的一种表情识别方法，其特征在于，所述脸表情图片样本和对应的类别标签，具体包括：

使用摄像机录制拍摄人脸发生表情的视频；

观察所述视频中人脸出现表情的时间，抽取该时间对应的帧保存为图像，得到人脸表情图片样本，并且标注表情的类别。

3.根据权利要求2所述的一种表情识别方法，其特征在于，所述建立深度神经网络模型，将所述人脸表情图片送入神经网络模型中提取特征，得到表情特征，具体包括：

创建18层的残差网络模型，并对模型内部包含的参数以及神经网络学习率、优化器等参数进行初始化；

将表情样本输入到深度神经网络中，得到深度神经网络最后一层前的特征值；

将最后一层前的特征值输入模型最后一层全连接层，得到最终输出的特征值。

4.根据权利要求3所述的一种表情识别方法，其特征在于，所述根据表情类别标签选择多个三元组，每个三元组包括的三个样本来自不同的类别，具体包括：

遍历整个标签集合，当遍历的三个样本均属于不同类别时，将当前三个样本所对应的下标存储到集合中，得到一个存储下标的三元组集合；

为保证每个三元组中的三个样本特征之间的距离不均衡，从上一步得到的三元组集合中过滤掉三个样本全属于正面表情或负面表情的组合；负面表情本身特征相似，而衡量特征相似的方法就是特征间的距离，距离越近越相似，即负面表情之间距离会更近。所述保证三元组中三个样本距离不均衡的意义为，假设目前选择的三元组包含两个负面表情和一个正面表情，那么正面表情和负面表情之间的距离会比较远，而两个负面表情的距离比较近，即为所述的距离不均衡。这种情况下，通过后续的损失函数控制可以使得两个负面表情间的距离变远，数值上接近正面表情和负面表情间的距离，达到重新调整负面表情间距离的目的，使得负面表情间距离增大，同时正负表情的类间距离与负负表情的类间距离趋于相等。但是若当前选择的三元组均属于负面表情，那么开始时样本间的距离就没有明显差异，所以很难使负负表情的类间距离大小达到正负表情的类间距离大小，三元组同属于正面表情时同理。这就是不选择同属于负面表情或正面表情的三元组的目的。

5.根据权利要求4所述的一种表情识别方法，其特征在于，所述根据表情特征和三元组计算第一个损失值，具体包括：

所述三元组集合中的每个三元组计算一个损失值，根据三元组中存储的下标从神经网络最后一层前得到的表情特征中提取对应的三个特征，三个特征能够形成三个欧式距离，每次随机选取其中的两个距离，使得两个欧式距离的比例趋于1，故取两个欧式距离的比例减数值1的平方值作为损失值，最终取多个三元组计算的损失值的平均作为第一个损失的最终值。

6.根据权利要求5所述的一种表情识别方法，其特征在于，根据所得的三元组集合中每个三元组中存储的下标从神经网络最后一层前得到的特征中取出对应的三个512维的特征值x₁、x₂、x₃，通过三个特征能够得到三个欧式距离，每次随机选取其中的两个欧式距离d1，d2，欧式距离计算公式如下：

用d1和d2的比例趋于1作为损失函数，目的是使得两个类间距离d1、d2趋于相等，每个三元组计算一个损失值，最后取平均值，损失函数公式如下，其中T为三元组数量：

该损失函数对于每一个三元组内部只能够使三个样本间的两个距离趋于相等，但是在不同的三元组中随机选取不同的两个距离，所以在整体上会使三个距离均趋于相等，结果会使得所有类间距离趋于相等。