[发明专利]一种人脸表情识别方法及装置

权利要求书

1.一种人脸表情识别方法，其特征在于，包括：

S1、对样本数据集进行人脸检测与对齐处理，确定所述样本数据集中每一图像中的人脸位置，剪切出人脸图像，所述样本数据集包括：带标签的不同个体的不同表情的图像；

S2、按照四联子的方式，对人脸检测与对齐处理后的样本数据集进行在线重组，生成四联子训练样本；

S3、利用深度学习网络，对所述四联子样本进行特征提取，将所述四联子样本中的每一图像均提取成一个N维特征向量；

S4、将提取的N维特征向量进行L2正则化处理后嵌入到N维欧几里得空间，并利用基于所述四联子样本而预先设置的损失函数，计算所述深度学习网络的损失，根据损失函数利用随机梯度下降算法对深度学习网络参数进行调整，返回步骤S3对调整后的网络再训练，直至所述深度学习网络趋于稳定，获得训练好的基于深度学习网络的人脸表情识别模型；

S5、将待测人脸图像输入所述人脸表情识别模型，获得人脸表情识别结果。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括：

采用MTCNN算法，对样本数据集进行人脸检测与对齐处理，确定所述样本数据集中每一图像中的人脸位置，剪切出人脸图像。

3.根据权利要求1所述的方法，其特征在于，所述步骤S2按照四联子的方式，对人脸检测与对齐处理后的样本数据集进行在线重组，生成四联子训练样本，包括：

P1、在人脸检测与对齐处理后的样本数据集中随机选择一个个体；

P2为本次选择的个体选择一种表情；

P3、在本次选择的表情中选择一张作为锚点anchor的人脸图像

P4、选择一张与相同表情的人脸图像作为anchor的正样本；

P5、选择第一张与不同表情的人脸图像作为第一个负样本；

P6、选择第二张与不同表情的人脸图像作为第二个负样本，和为不同表情；

P7、循环步骤P4-P6，每循环一次生成一个四联子，直至对人脸检测与对齐处理后的样本数据集中本次所选择的个体、表情和锚点所对应的所有人脸图像均被选择过，则返回步骤P3；

P8、若本次选择的表情中的所有人脸图像均作为anchor被选择过，则返回步骤P2；

P9、若本次选择的个体的所有表情均被选择过，则返回步骤P1，直至人脸检测与对齐处理后的样本数据集中的所有个体均被选择过，循环结束。

4.根据权利要求1所述的方法，其特征在于，所述步骤S3包括：

利用Inception-restnet-v1深度学习网络，对所述四联子样本进行特征提取，将所述四联子样本中的每一图像均提取成一个N维特征向量。

5.根据权利要求1所述的方法，其特征在于，所述利用基于所述四联子样本而预先设置的损失函数loss为：

其中，在同一个个体中，为一个anchor,为与相同表情的人脸图像,是与不同表情的人脸图像，是与都不同表情的人脸图像，α为判定边界，M为生成的四联子训练样本的容量。

6.一种人脸表情识别装置，其特征在于，包括：

处理模块，用于对样本数据集进行人脸检测与对齐处理，确定所述样本数据集中每一图像中的人脸位置，剪切出人脸图像，所述样本数据集包括：带标签的不同个体的不同表情的图像；

样本重组模块，用于按照四联子的方式，对人脸检测与对齐处理后的样本数据集进行在线重组，生成四联子训练样本；

特征提取模块，用于利用深度学习网络，对所述四联子样本进行特征提取，将所述四联子样本中的每一图像均提取成一个N维特征向量；

调整模块，用于将提取的N维特征向量进行L2正则化处理后嵌入到N维欧几里得空间，并利用基于所述四联子样本而预先设置的损失函数，计算所述深度学习网络的损失，根据损失函数利用随机梯度下降算法对深度学习网络参数进行调整，返回所述特征提取模块对调整后的网络再训练，直至所述深度学习网络趋于稳定，获得训练好的基于深度学习网络的人脸表情识别模型；

获取模块，用于将待测人脸图像输入所述人脸表情识别模型，获得人脸表情识别结果。