[发明专利]一种多模态情感识别分类方法

说明书

本发明提供一种多模态情感识别分类方法，所述方法包括对待检测的包含人脸的视频和对应同一时间内包含身体动作的视频进行处理，将其转变为由图像帧组成的图像时间序列，提取图像时间序列中的时间特征和空间特征，基于获得的多层深度时空特征，对特征进行多种特征级融合，并对分类结果进行决策级融合，从而从多模态上识别待检测视频中任务的情感类型，本发明提供的方法，充分利用了各模态中存在的有效信息，提升了情感识别的识别率。

技术领域

本发明涉及计算机处理技术领域，更具体地，涉及一种多模态情感识别分类方法。

背景技术

情感识别作为计算机科学、认知科学、心理学、脑科学、神经科学等多学科交叉的新兴研究领域，其研究目的就是让计算机学习理解人类的情感表达，最终使其能够像人类一样具有识别、理解情感的能力。因此，作为一个极富挑战性的交叉学科，情感识别成为当前国内外模式识别、计算机视觉、大数据挖掘以及人工智能领域的一个研究热点，具有重要的研究价值和应用前景。

在现有的情感识别技术中，情感识别的研究趋势呈现出两个较为明显的特点，一方面，数据由基于静态图像的情感识别扩展到基于动态图像序列的情感识别；另一方面，由基于单模态的情感识别扩展到基于多模态的情感识别。目前，基于静态图像的情感识别研究已经取得了一批很好的成果，然而，基于静态图片的情感识别方法忽略了人体表情的时间动态信息。从整体来看，相对基于图片的情感识别，视频数据的分析准确度还需要进行进一步的研究。另外，心理学研究表明，情感识别本质上是多模态问题，利用身体姿态与面部表情共同判断情感状态比利用单模态信息有更好的效果。相对单模态而言，利用多模态信息融合来识别情感会更加准确可靠。这使得多模态信息融合也发展成为情感识别领域的一个研究热点。

现有技术中，面部表情和身体姿态的模态融合方法都只采用了单一的融合方式，依据某种策略从特征级融合或者决策级融合中选择一种。现有技术中，无法从视频数据中提取出有效的时空特征进行情感识别，另一方面，无论是采用前期还是后期融合，类似的融合方法都具有模型无关的特点，没有充分利用各模态中存在的有效信息，普遍存在融合效率不高的问题。

发明内容

为解决现有技术中，无法从视频数据中提取出有效的时空特征进行情感识别的问题，以及对情感识别中无论是采用前期还是后期融合，类似的融合方法都具有模型无关的特点，没有充分利用各模态中存在的有效信息，普遍存在融合效率不高的问题，提供一种多模态情感识别分类方法。

根据本发明的一个方面，一种多模态情感识别分类方法，包括：

S1，接收待测数据，所述待测数据包括包含人脸的视频和对应的同一时间内包含身体动作的视频，对所述包含人脸的视频和对应的包含身体动作的视频进行预处理，获得包含人脸的人脸图像时间序列和包含身体动作的身体图像时间序列；

S2，将所述人脸图像时间序列依次输入到基于Alexnet的卷积神经网络和基于BLSTM的循环神经网络中，取出输出的数据，作为第一人脸图像时空特征，将所述身体图像时间序列依次输入到基于Alexnet的卷积神经网络和基于BLSTM的循环神经网络中，取出输出的数据，作为第一身体图像时空特征；

S3，将所述第一人脸图像时空特征和所述第一身体图像时空特征串联输入到全连接神经网络中，获得所述第一人脸图像时空特征和所述第一身体图像时空特征融合后，属于不同情感类型的概率矩阵，将此概率矩阵标记为第一概率矩阵，同时将所述第一人脸图像时空特征和所述第一身体图像时空特征串联输入到支持向量机中，获得所述第一人脸图像时空特征和所述第一身体图像时空特征串联后，属于不同情感类型的概率矩阵，将此概率矩阵标记为第二概率矩阵；