[发明专利]一种基于双层融合深度网络的语音情感识别方法

说明书

本发明涉及一种基于双层融合深度网络的语音情感识别方法，为了获得丰富的交叉模态的信息本发明利用了语音和文本两个模态的特征向量进行寻优融合，捕捉复杂的关联在音频和文本之间进行情感识别。首先将语音和文本信息通过预处理，得到音频和文本特征向量，通过FBP特征融合模块，将音频特征，文本特征做多模态交叉融合，将融合后的特征向量分别经过LSTM,GRU,DNN三个子模型组成的level‑1初级特征编码网络，然后level‑1三个子网络的输出做二次融合，编码高级特征，融合的方法是hadmard积，最后将融合后的特征输入到level‑2的BiLSTM编码网络，最后接分类输出层，预测情感类别。本次提出的融合算法在公开数据集IEMOCAP上实验结果显示达到了80.38％WA和78.62％UA，实现了目前语音情感识别领域较好的结果。

技术领域

本发明属于语音情感识别领域，涉及一种多模态特征融合的语音情感识别算法。

背景技术

目前语音情感识别领域主要分3个研究方向，第一个是基于传统的机器学习方法，通过手工提取情感相关特征，并用机器学习方法进行情感分类。第二是基于深度神经网络的情感识别方法，通过神经网络实现端到端的情感识别系统。第三个就是结合语音和文本进行多模态的情感识别。

多模态语音情感识别是近年以来的新的研究热点，引起了广泛关注。多模态语音情感识别目前主要的研究领域是结合语音和文本进行多模态的情感识别，考虑到不同语音特征对情感有不同的影响，为了提升系统的识别率，未来语音情感识别趋势是多模态识别系统框架。

语音情感识别是一项具有挑战性的任务，因为情感表达是复杂的、多模态的。提升语音情感识别性能的关键在于首先对情感特征的提取，其次在多模态特征融合时的融合方式。目前针对于特征提取这一块主流方法大都使用深度神经网络来提取情感特征，并在许多研究中得以验证效果有明显的提升。但是在特征融合这一块的创新研究还是有些不够深入，调研发现，大部分方法都是使用简单的相加、拼接等融合方法。显然这些方法都不能完全利用各模态信息之间的互补性。

目前在多模态情感识别领域的研究中，胡雅心等人发表的一篇《基于语音文本融合的多模态情感识别》文章中特征融合方法是使用简单的相加、拼接等融合方法。显然这些方法都不能完全利用各模态信息之间情感特征的互补性。

发明内容

本发明主要解决的问题是：对现有的语音情感识别方法和系统进行改进，提出了一种可以提高识别率的多模态特征融合方案。为实现该技术目的，本发明采用的技术方案流程为：

步骤1：对语音和文本数据进行预处理，使其符合网络模型的输入要求；

步骤2：对步骤1预处理后语音和文本特征向量输入到分解双线性池化融合模块(FBP)进行初级特征融合；

步骤3：将步骤2FBP模块输出的融合后的初级特征分别经过LSTM,GRU,DNN三个子模型组成的level-1初级特征编码网络；

步骤4：然后level-1三个子网络的输出做二次融合，编码高级特征，融合的方法是hadmard积，然后将融合后的特征输入到level-2的BiLSTM编码网络，最后接分类输出层，预测情感类别；

步骤5：最后训练网络模型。

进一步的，所述文本信号预处理是指采用词嵌入方式，使用预训练的Glove模型将每一个单词用一个向量表示。

进一步的，所述语音信号预处理是指对音频信号进行加窗、分帧，使用的窗长为25ms的汉明窗，10ms的帧移，然后对其进行傅里叶变换，最后进行梅尔滤波操作得到梅尔频谱特征。

进一步的，所述的对齐操作是通过合并和单词相关的语音帧，得到每个单词所对应的语音特征。