[发明专利]一种人脸表情识别方法及装置

说明书

本申请公开了一种人脸表情识别方法及装置，所述方法包括：提取检测图像中人脸的局部特征以及整体特征；将所述局部特征、所述整体特征以及所述检测图像输入深度学习模型，获得所述检测图像属于不同人脸表情的分类结果；其中，所述深度学习模型预先根据不同人脸表情的训练图像以及各个训练图像的局部特征和整体特征对深度神经网络进行训练获得；根据所述分类结果，确定所述检测图像的人脸表情。本申请实施例提高了人脸表情识别的精确度。

技术领域

本申请属于人脸属性识别技术领域，具体地说，涉及一种人脸表情识别方法及装置。

背景技术

人脸表情是一种能够表达人类认知、情感和状态的手段，包含了众多的个人行为信息。因此，通过对人脸表情进行识别，可以在人机交互等不同领域提高用户体验，从而推动科技的进步。

人脸表情通常包括高兴、悲伤、愤怒、恐惧、惊讶以及厌恶等，不同人脸表情可以通过人脸图像的特征进行表示，因此可以通过提取人脸图像的特征，利用机器学习算法，让机器学习特征中蕴含的人脸表情信息，以实现人脸表情识别。

传统的人脸表情识别主要是通过提取人脸图像的局部特征或整体特征来实现，但是局部特征无法描述人脸轮廓信息，而整体特征无法描述人脸细节信息，因此人脸表情识别的精确度并不高。

发明内容

有鉴于此，本申请所要解决的技术问题是提供了一种人脸表情识别方法及装置，解决了现有技术中人脸表情识别的精确度不高的技术问题。

为了解决上述技术问题，本申请公开了一种人脸表情识别方法，包括：

提取检测图像中人脸的局部特征以及整体特征；

将所述局部特征、所述整体特征以及所述检测图像输入深度学习模型，获得所述检测图像属于不同人脸表情的分类结果；其中，所述深度学习模型预先根据不同人脸表情的训练图像以及各个训练图像的局部特征和整体特征对深度神经网络进行训练获得；

根据所述分类结果，确定所述检测图像的人脸表情。

优选地，将所述局部特征、所述整体特征以及所述检测图像输入深度学习模型，获得所述检测图像属于不同人脸表情的分类结果包括：

将所述局部特征、所述整体特征以及所述检测图像输入深度学习模型；

利用所述深度学习模型提取所述检测图像中人脸的深度学习特征，并将所述深度学习特征、所述局部特征以及所述整体特征进行融合，获得融合特征；利用所述融合特征，获得所述检测图像属于不同人脸表情的概率；其中，所述深度学习模型具体是预先根据不同人脸表情的训练图像的融合特征以及不同人脸表情标签对深度神经网络进行训练获得；所述训练图像的融合特征通过将所述深度神经网络提取的深度学习特征，以及所述训练图像的局部特征和整体特征进行融合获得；所述人脸表情标签包括人脸表情概率；

所述根据所述分类结果，确定所述检测图像的人脸表情包括：

将概率最高的人脸表情作为所述检测图像的人脸表情。

优选地，所述提取所述人脸图像的局部特征以及整体特征包括：

将所述检测图像进行尺度变换，获得不同尺度的多个尺度图像；

提取每一个尺度图像中人脸的每一个关键点的局部特征，并将所述每一个关键点的局部特征进行拼接，获得所述检测图像的局部特征；

提取所述检测图像中人脸的表观特征作为所述人脸图像的整体特征，所述表观特征用于表示人脸轮廓以及五官分布。

优选地，所述深度学习模型具体按照如下方式预先训练获得：

获取每一个人脸表情对应的多个训练图像以及对应的人脸表情标签；

提取每一个训练图像的局部特征以及整体特征；