[发明专利]一种基本表情分类方法

摘要

本发明公开了一种基本表情分类方法，包括以下步骤：基于多目标级联卷积神经网络(Multi‑task Cascaded Convolutional Networks，MTCNN)的人脸检测；数据预处理；改进的三维卷积网络(3‑dimensional Convolutional Networks,C3D)；多维度空间金字塔池化(Multi‑dimensional Spatial Pyramid Pooling Normalization,MSPP‑norm)融合卷积特征；嵌套长短期记忆网络(Nested stacked LSTM)。本发明提出了一种基于表情识别的时空嵌套长短期记忆网络(Spatial‑Temporal Convolutional features with Nested‑LSTM，STC‑NLSTM)模型，将序列图像送入到带有多维空间金字塔池化的三维卷积神经网络来提取深度特征，将所有卷积层中提取的深度特征融合后送到Nested stacked LSTM中得到分类结果，从而形成一个端到端训练的网络结构。在目前公开的三个著名表情库上，本发明方法均取得了目前最好的结果。

主权项

1.一种表情分类方法，其特征在于，包括以下步骤：步骤1)将一组视频序列通过目前最先进的人脸检测算法生成裁剪后的人脸，并利用水平翻转和旋转不同的角度来扩大训练数据；所述旋转对CK+(扩展的cohn‑kanade表情数据库)数据库将其旋转15°、10°、5°、‑5°、‑10°、‑15°；对Oulu数据库将其旋转7.5°、5°、2.5°、‑2.5°、‑7.5°；对MMI数据将其旋转10°、7.5°、5°、2.5°、‑2.5°、‑5°、‑7.5°、‑10°。(其中MMI和Oulu‑CASIA是奥卢大学的赵国英教授提出的表情识别经典的数据库)在此之后再进行翻折，即将将原始数据库CK+、Oulu和MMI分别扩大14、14和16倍；步骤2)将裁剪后的表情序列送入到带有多维空间金字塔的3D卷积网络进行训练，以此来提取多尺度深度特征；直接送到步骤3)中进行训练；步骤3)将训练过程中3D卷积网络每层的卷积特征送到嵌套双层LSTM(Long Short Term Memory，长短期记忆算法)中进行分类，形成端到端的网络训练结构。