[发明专利]一种基本表情分类方法

说明书

本发明公开了一种基本表情分类方法，包括以下步骤：基于多目标级联卷积神经网络(Multi‑task Cascaded Convolutional Networks，MTCNN)的人脸检测；数据预处理；改进的三维卷积网络(3‑dimensional Convolutional Networks,C3D)；多维度空间金字塔池化(Multi‑dimensional Spatial Pyramid Pooling Normalization,MSPP‑norm)融合卷积特征；嵌套长短期记忆网络(Nested stacked LSTM)。本发明提出了一种基于表情识别的时空嵌套长短期记忆网络(Spatial‑Temporal Convolutional features with Nested‑LSTM，STC‑NLSTM)模型，将序列图像送入到带有多维空间金字塔池化的三维卷积神经网络来提取深度特征，将所有卷积层中提取的深度特征融合后送到Nested stacked LSTM中得到分类结果，从而形成一个端到端训练的网络结构。在目前公开的三个著名表情库上，本发明方法均取得了目前最好的结果。

技术领域

本发明属于图像信息处理技术领域，涉及一种基本表情分类方法。

背景技术

人脸表情识别是计算机视觉领域地一个经典的问题，其旨在识别六类基础的表情包括：厌恶、生气、恐惧、高兴、悲伤和惊讶。在不同的方法中，卷积神经网络(ConvolutionalNeural Networks,CNNs)和递归神经网络(Recurrent Neural Networks,RNNs)均在表情识别中展现出了非常好的效果。传统的表情识别仅仅考虑了图片空间的联系，即对图片进行单独的训练以及识别，并没有考虑到图片序列之间时间上的联系。目前主流的方法同时考虑的时间和空间上的联系，比如说CNN+RNN或者3DCNN。本发明提出的方法不仅考虑了时间和空间上的联系，并将卷积过程中尺度的变化考虑进去，设计出了一个全新的网络，该网络在经典数据库上的识别效果均达到了目前国内外最好的结果。

发明内容

本发明所要解决的技术问题在于克服现有技术不足，提供一种基本表情分类方法，针对目前时序主流方法CNN+LSTM中，CNN无法提取有效的时序特征的缺点，同时在传统方法仅考虑时间和空间的关系的基础上，考虑了每层卷积层之间的尺度的联系，本发明提出了一种基于表情识别的时空卷积特征的嵌套长短期记忆网络 (Spatial-TemporalConvolutional features with Nest-LSTM，STC-NLSTM)模型。

本发明的表情分类方法，包括以下步骤：

步骤1)、将一组视频序列通过人脸检测算法生成裁剪后的人脸，并利用水平翻转和旋转来扩大训练数据，防止网络在训练的过程中过拟合。

步骤2)、将裁剪后的表情序列送入到带有多维空间金字塔的3D卷积网络进行训练，以此来提取多尺度深度特征；

步骤3)、将训练过程中3D卷积网络每层的卷积特征送到Nested-LSTM中进行分类，形成端到端的网络训练结构；

有益效果

⑴在同样的实验条件下，本发明方法的分类准确率在CK+数据库上比 3DCNN-DAP、STM-ExpLet、DTAGN和PPDN方法的准确率要高；在Oulu-CASIA数据库上比HOG 3D、AdaLBP、Atlases、STM-ExpLet、DTAGN和PPDN方法的准确率要高，在MMI数据库上，比HOG 3D、3DSIFT、ITBN、CSPL、STM-ExpLet、3DCNN、 3DCNN-DAP、DTAGN和PPDN的方法的准确率要高。

⑵通过3DCNN能够有效提取表情间的时空特征，同时利用每层卷积层之间的尺度联系，将每层卷积特征送到Nested-LSTM中去，从而形成一个端到端的训练的网络，最终从根本上提高表情分类的准确率。

附图说明