[发明专利]一种多模态情感识别分类方法

摘要

本发明提供一种多模态情感识别分类方法，所述方法包括对待检测的包含人脸的视频和对应同一时间内包含身体动作的视频进行处理，将其转变为由图像帧组成的图像时间序列，提取图像时间序列中的时间特征和空间特征，基于获得的多层深度时空特征，对特征进行多种特征级融合，并对分类结果进行决策级融合，从而从多模态上识别待检测视频中任务的情感类型，本发明提供的方法，充分利用了各模态中存在的有效信息，提升了情感识别的识别率。

主权项

一种多模态情感识别分类方法，其特征在于，包括：S1，接收待测数据，所述待测数据包括包含人脸的视频和对应的同一时间内包含身体动作的视频，对所述包含人脸的视频和对应的包含身体动作的视频进行预处理，获得包含人脸的人脸图像时间序列和包含身体动作的身体图像时间序列；S2，将所述人脸图像时间序列依次输入到基于Alexnet的卷积神经网络和基于BLSTM的循环神经网络中，取出输出的数据，作为第一人脸图像时空特征，将所述身体图像时间序列依次输入到基于Alexnet的卷积神经网络和基于BLSTM的循环神经网络中，取出输出的数据，作为第一身体图像时空特征；S3，将所述第一人脸图像时空特征和所述第一身体图像时空特征串联输入到全连接神经网络中，将输出结果输入到支持向量机中，获得所述第一人脸图像时空特征和所述第一身体图像时空特征融合后，属于不同情感类型的概率矩阵，将此概率矩阵标记为第一概率矩阵，同时将所述第一人脸图像时空特征和所述第一身体图像时空特征串联输入到支持向量机中，获得所述第一人脸图像时空特征和所述第一身体图像时空特征串联后，属于不同情感类型的概率矩阵，将此概率矩阵标记为第二概率矩阵；S4，将所述第一人脸图像时空特征输入到支持向量机中，获得所述第一人脸图像时空特征属于不同情感类型的概率矩阵，将此概率矩阵标记为第三概率矩阵，将所述第一身体图像特征输入到支持向量机中，获得所述第一身体图像时空特征属于不同情感类型的概率矩阵，将此概率矩阵标记为第四概率矩阵，将所述第一概率矩阵、第二概率矩阵、第三概率矩阵和第四概率矩阵进行决策融合，获得第一融合概率矩阵，将所述第一融合概率矩阵中概率最高感情类型作为感情识别结果。