[发明专利]一种基于语音和表情的自适应权重双模态融合情感识别方法

说明书

本发明涉及一种基于语音和人脸表情的自适应权重双模态融合情感识别方法，包括以下步骤：获取情感语音和人脸表情数据，将情感数据与情感类别相对应，并选取训练样本集合测试样本集；对语音数据提取语音情感特征，对表情数据提取动态表情特征；分别基于语音情感特征和表情特征，采用基于半监督自动编码器的深度学习方法进行学习，通过softmax分类器得到分类结果和各类别输出概率；最后将两种单模态情感识别结果进行决策层融合，采用一种自适应加权的方法，得到最终的情感识别结果。本发明实针对个人不同模态情感特征表征能力的差异性，采取了自适应权重融合方法，具有更高的准确性和客观性。

技术领域

本发明涉及情感计算中的情感识别领域，具体涉及基于语音和人脸表情的自适应权重双模融合情感识别方法。

背景技术

近年来，在人工智能和机器人技术的发展下，传统的人机交互模式已经不能满足需求，新型的人机交互需要情感的交流，因此，情感识别成为了人机交互技术发展的关键，也成为了学界热点的研究课题。情感识别是涉及多学科的研究课题，通过使计算机理解并识别人类情感，进而预测和理解人类的行为趋势和心理状态，从而实现高效和谐的人机情感交互。

人的情绪有各种各样的表达方式，如语音、表情、姿态、文本等等，我们可以从中提取有效的信息，从而正确分析情绪。而表情和语音信息最为其中最为明显和最易分析的特征，得到了广泛的研究和应用。心理学家Mehrabian给出了一个公式：感情表露＝7％的言辞+38％的声音+55％的面部表情，可见人的语音信息及人脸表情信息涵盖93％的情感信息，是人类交流信息中的核心。在情绪表达的过程中，面部形变会有效且直观地表达出内心的情感，是情感识别最为重要的特征信息之一，语音特征也同样能表达出丰富的情感。

由于近年来互联网的发展和各种社交媒体的层出不穷，人们的交流方式得到了很大的丰富，如视频，音频等，使得多模态情感识别成为可能。传统的单模态识别可能存在单一的情感特征不能很好地表征情感状态的问题，例如，人们在表达悲伤的感情时，面部表情可能没有较大的变化，但此时，从低沉和低缓的语音可以分辨出悲伤失落的感情。多模态识别使得不同模态的信息可以实现互补，为情感识别提供更多情感信息，提高情感识别的准确率。但目前，单模态情感识别研究较为成熟，针对多模态的情感识别方法还有待发展和完善。因此，多模态情感识别具有十分重要的实际应用意义。而作为最为显性的表情和语音特征，基于二者的双模情感识别具有重要的研究意义和实用价值。传统的加权方法忽略了个人差异性，因此，需要一种自适应权重的方法来进行权重分配。

发明内容

本发明的目的是提供一种基于语音和人脸表情的自适应权重双模融合情感识别方法，从而实现各模态信息的互补，并实现针对个人差异的自适应权重分配。

为此，本发明采用以下技术方案：

一种基于语音和人脸表情的自适应权重双模态融合的识别方法，其特征在于，所述方法包括以下步骤：

S1、获取情感语音和人脸表情数据，将情感数据与情感类别相对应，并选取训练样本集合测试样本集，

S2、对语音数据提取语音情感特征，对表情数据提取动态表情特征，首先自动提取表情峰值帧，获取表情开始到表情峰值的动态图像序列，后将非定长的图像序列归一化为定长的图像序列，作为动态表情特征，

S3、分别基于语音情感特征和表情特征，采用基于半监督自动编码器的深度学习方法进行学习，通过softmax分类器得到分类结果和各类别输出概率，

S4、将两种单模态情感识别结果进行决策层融合，采用一种自适应权重分配的方法，得到最终的情感识别结果。

进一步，上述所述步骤S2的具体步骤如下：

S2A.1：对于语音情感数据，将获得的语音样本段进行分帧处理，划分为多帧语音段，并对分帧后的语音段进行加窗处理，得到语音情感信号，