[发明专利]一种基于深度学习的语音情感识别方法

说明书

本发明公开了一种基于深度学习的语音情感识别方法，其步骤包括：1获取会话语音集合并进行分帧和加窗处理；2提取语音帧的LLDs特征序列和语谱图；3提取LLDs序列的表征；4提取语谱图的表征。5使用特征融合与结果融合的策略以得到最后的情感预测结果。本发明能有效预测语音的情感类别，并能提高预测准确性。

技术领域

本发明属于语音数据分析处理领域，具体的说是一种基于深度学习的语音情感识别方法。

背景技术

随着智能服务机器人在电商、酒店、商场等领域的广泛应用，基于语音的情感识别成为企业了解消费者需求、分析消费者满意度的有效手段。语音声学信息由于具有提取复杂度低、干扰信息少等优点，成为语音情感识别的主要依据。如何基于声学信息构建语音情感的识别方法具有重要的理论和实践价值。基于声学特征的情感识别方法是语音情感识别的主流方向。现有研究取得了丰富的成果，但是基于声学特征的语音情感识别仍存在广阔研究空间。首先，语音信息中蕴含着丰富的声学特征，这些特征可以从局部与全局、时域与频域等不同维度反映语音情感。如何对多维度特征进行有效提取有待深入研究。其次，深度学习是情感识别的有效方法。如何基于多维度声学特征构建语音情感识别的深度学习方法有待进一步探索。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种基于深度学习的语音情感识别方法，以期能融合多维度特征，用于对语音情感进行更加有效的识别，从而能提高识别的准确性。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于深度学习的语音情感识别方法的特点是按如下步骤进行：

步骤1：提取LLDs序列W^l和语谱图W^g；

获取语音样本[x(t),y],t＝1,2,…,N，其中，x(t)是第t个采样点信号，y是语音样本标签，N是语音样本的采样点总数；

并对x(t)进行分帧处理，得到x(t)的分帧序列：[x₁(t),x₂(t),…,x_i(t),…,x_n(t)]，其中，x_i(t)表示第t个采样点信号x(t)的第i个语音帧，n表示语音帧的数量；

利用式(2)对分帧序列进行加窗处理，得到加窗序列[x'₁(t),x'₂(t),…,x'_i(t),…,x'_n(t)],t＝1,2,…,N：

x'_i(t)＝ω(t)·x_i(t) (1)

式(1)中，ω(t)表示汉宁窗函数；x'_i(t)表示表示第i个加窗后的语音帧；

利用式(3)提取x'_i(t)的d维LLDs特征并利用式(4)将从所有帧的d维LLDs特征进行拼接，得到语音样本x(t)的LLDs序列W^l：

式(3)和式(4)中，OpenSmile(·)表示使用OpenSmile工具包进行特征提取；表示向量拼接操作；

对x'_i(t)进行离散傅立叶变换得到x'_i(t)的频谱，将所有帧的频谱进行拼接后得到语音样本x(t)的频谱矩阵W^g；

步骤2：LLDs序列W^l的特征提取分支；