[发明专利]表情识别方法、装置、电子设备及存储介质

说明书

本发明实施例提供一种表情识别方法、装置、电子设备及存储介质，表情识别模型包括卷积神经网络模型、全连接网络模型和双线性网络模型。表情识别过程中，对待识别图像进行预处理得到人脸图像和关键点坐标向量后，通过卷积神经网络模型对人脸图像进行运算输出第一特征向量，通过全连接网络模型对关键点坐标向量进行运算输出第二特征向量，通过双线性网络模型对第一特征向量和第二特征向量进行运算以得到二阶信息，进而根据二阶信息得到表情识别结果。该过程中，考虑了人脸关键点所包含的先验表情信息，对姿态和光照的鲁棒性较好，提高了表情识别的准确性。进一步的，当表情强度较低时，也可以正确识别出表情。

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及一种表情识别方法、装置、电子设备及存储介质。

背景技术

目前，表情识别技术在人机交互、辅助驾驶、远程教育以及广告精准投放等领域被广泛应用。表情识别技术是指从包含人脸的图像或视频序列中获取人脸表情并加以识别的技术。人脸的基本表情类别分为8种，即愤怒(angry)、藐视(contempt)、厌恶(disgust)、恐惧(fear)、高兴(happiness)、悲伤(sadness)、惊讶(surprise)以及中性(neutral)。

现有的表情识别过程中，通常使用尺度不变特征转换(scale-invariant featuretransform，SIFT)、方向梯度直方图(histogram of oriented gradient，HOG)等方法提取表情特征，再用支持向量机(support vector machine，SVM)分类器、单模型卷积神经网络等得到分类结果，然后将做完人脸对齐的人脸表情图像作为输入，经过单模型神经网络运算，得到表情分类结果。

上述表情识别过程中，通过单模型卷积神经网络根据提取出的特征识别表情。识别过程中，仅仅使用了人脸表情图像的一阶信息，没有用到高阶特征信息，对姿态和光照的鲁棒性交差，导致在真实场景中表情识别准确率低，识别效果不理想。尤其是在表情强度较低的情况下，极易造成误识别。

发明内容

本发明提供一种表情识别方法、装置、电子设备及存储介质，利用神经网络模型、全连接网络模型和双线性网络模型构成的训练模型对待识别图像包含的人物表情进行识别，识别过程中，对待识别图像提取出特征后，对该特征进一步的处理，得到二阶信息，根据该二阶信息识别表情，提高表情识别的准确性。

第一方面，本发明提供的一种表情识别方法，包括：

对待识别图像进行预处理，得到人脸图像和关键点坐标向量，所述人脸图像包含于所述待识别图像中；

利用卷积神经网络模型对所述人脸图像进行运算，输出第一特征向量，利用全连接网络模型对所述关键点坐标向量进行运算，输出第二特征向量，所述第一特征向量和所述第二特征向量用于确定所述人脸图像中人脸的表情；

利用双线性网络模型对所述第一特征向量和所述第二特征向量进行运算以提取二阶特征，对所述二阶特征进行分类得到所述人脸的表情。

一种可行的实现方式中，所述对待识别图像进行预处理，得到人脸图像和关键点坐标向量之前，还包括：

训练所述卷积神经网络模型、所述全连接网络模型与所述双线性网络模型。

一种可行的实现方式中，所述训练所述卷积神经网络模型、所述全连接网络模型与所述双线性网络模型通过下述方法训练：

对训练集中的每幅样本图像，预处理所述样本图像，得到所述样本人脸图像和样本关键点坐标向量；

根据所述样本人脸图像训练所述卷积神经网络模型；

根据所述样本关键点坐标向量训练所述全连接网络模型；

根据所述卷积神经网络模型的输出结果和所述全连接网络模型的输出结果，训练所述双线性网络模型。