[发明专利]一种人脸表情识别方法及装置

权利要求书

1.一种人脸表情识别方法，其特征在于，包括：

提取检测图像中人脸的局部特征以及整体特征；

将所述局部特征、所述整体特征以及所述检测图像输入深度学习模型，获得所述检测图像属于不同人脸表情的分类结果；其中，所述深度学习模型预先根据不同人脸表情的训练图像以及各个训练图像的局部特征和整体特征对深度神经网络进行训练获得；

根据所述分类结果，确定所述检测图像的人脸表情；

其中，获得的所述检测图像属于不同人脸表情的分类结果是检测图像属于不同人脸表情的表情概率；人脸表情标签中包括人脸表情概率；利用深度学习模型获得检测图像属于不同人脸表情的表情概率；概率最高的人脸表情作为检测图像的人脸表情；

提取检测图像中人脸的局部特征是：

将所述检测图像进行尺度变换，获得不同尺度的多个尺度图像；

提取每一个尺度图像中人脸的每一个关键点的局部特征，并将各个尺度图像中的各个关键点的局部特征进行拼接，获得所述检测图像的局部特征；

其中，关键点至少包括眼睛、鼻子、嘴巴、眉毛；在提取检测图像中人脸的局部特征之前，首先识别检测图像中人脸的位置和大小，在得到的人脸区域内，精细定位人脸的五官位置，并将人脸大小归一化，得到对齐后的人脸；在规范化后的人脸的关键点位置处提取局部特征；

其中，将检测图像进行尺度变换，获得不同尺度的多个尺度图像；在每个尺度图像中的每个关键点均提取对应的局部特征，并将各个局部特征拼接起来，从而得到的检测图像的局部特征即为高危局部特征向量；

提取检测图像中人脸的整体特征是：

提取所述检测图像中人脸的表观特征作为所述人脸图像的整体特征，所述表观特征用于表示人脸轮廓以及五官分布；

利用表观模型，提取所述检测图像中人脸的表观特征作为所述人脸图像的整体特征；

其中，首先将检测图像进行归一化，获得与表观模型适应尺寸的检测图像；然后利用表观模型提取人脸的多个关键点处的关键点坐标，减去人脸平静状态下的多个关键点的坐标，获得表观特征。

2.根据权利要求1所述的方法，其特征在于，将所述局部特征、所述整体特征以及所述检测图像输入深度学习模型，获得所述检测图像属于不同人脸表情的分类结果包括：

将所述局部特征、所述整体特征以及所述检测图像输入深度学习模型；

利用所述深度学习模型提取所述检测图像中人脸的深度学习特征，并将所述深度学习特征、所述局部特征以及所述整体特征进行融合，获得融合特征；利用所述融合特征，获得所述检测图像属于不同人脸表情的概率；其中，所述深度学习模型具体是预先根据不同人脸表情的训练图像的融合特征以及不同人脸表情标签对深度神经网络进行训练获得；所述训练图像的融合特征通过将所述深度神经网络提取的深度学习特征，以及所述训练图像的局部特征和整体特征进行融合获得。

3.根据权利要求1或2所述的方法，其特征在于，所述深度学习模型具体按照如下方式预先训练获得：

获取每一个人脸表情对应的多个训练图像以及对应的人脸表情标签；

提取每一个训练图像的局部特征以及整体特征；

将每一个训练图像及每一个训练图像的局部特征和整体特征输入深度卷积神经网络；

训练所述深度卷积神经网络提取每一个训练图像的深度学习特征，以及，

将每一个训练图像的深度学习特征与每一个训练图像的局部特征和整体特征进行融合学习，获得融合特征；

利用各个人脸表情标签以及不同人脸表情对应的各个训练图像的融合特征，训练获得所述深度神经网络的权重系数，得到深度学习模型。

4.根据权利要求3所述的方法，其特征在于，所述将每一个训练图像的深度学习特征与每一个训练图像的局部特征和整体特征进行融合学习，获得融合特征包括：

将每一个训练图像的深度学习特征与每一个训练图像的局部特征和整体特征，通过深度神经网络的全连接层进行融合学习，获得融合特征；

所述利用各个人脸表情标签以及各个人脸表情的训练图像的融合特征，训练获得所述深度神经网络的权重系数，得到深度学习模型包括：

将各个人脸表情标签以及不同人脸表情对应的各个训练图像的融合特征，利用softmax函数对所述深度神经网络的类别输出层进行训练，获得所述类别输出层的权重系数，得到所述深度学习模型。