[发明专利]一种基于深度学习的语音情感识别方法

权利要求书

1.一种基于深度学习的语音情感识别方法，其特征是按如下步骤进行：

步骤1：提取LLDs序列W^l和语谱图W^g；

获取语音样本[x(t)，y]，t＝1，2，...，N，其中，x(t)是第t个采样点信号，y是语音样本标签，N是语音样本的采样点总数；

并对x(t)进行分帧处理，得到x(t)的分帧序列：[x₁(t)，x₂(t)，...，x_i(t)，...，x_n(t)]，其中，x_i(t)表示第t个采样点信号x(t)的第i个语音帧，n表示语音帧的数量；

利用式(2)对分帧序列进行加窗处理，得到加窗序列[x′₁(t)，x′₂(t)，...，x′_i(t)，...，x′_n(t)]，t＝1，2，...，N：

x′_i(t)＝ω(t)·x_i(t) (1)

式(1)中，ω(t)表示汉宁窗函数；x′_i(t)表示表示第i个加窗后的语音帧；

利用式(3)提取x′_i(t)的d维LLDs特征并利用式(4)将从所有帧的d维LLDs特征进行拼接，得到语音样本x(t)的LLDs序列W^l：

式(3)和式(4)中，OpenSmile(·)表示使用OpenSmile工具包进行特征提取；表示向量拼接操作；

对x′_i(t)进行离散傅立叶变换得到x′_i(t)的频谱，将所有帧的频谱进行拼接后得到语音样本x(t)的频谱矩阵W^g；

步骤2：LLDs序列W^l的特征提取分支；

令LLDs序列W^l的特征提取分支由局部卷积模块、全局卷积模块和融合自注意力机制的SABi-LSTM模块所构成；LLDs序列W^l依次通过特征提取分支计算得到LLDs表征v₁；

步骤2.1：局部卷积模块；

所述局部卷积模块由激活函数为Relu的局部卷积层和一个局部最大值池化层构成；

所述局部卷积层使用尺度为n₁×s×1的卷积核进行局部卷积操作，其中，n₁为卷积核个数，s是卷积核的宽；所述局部最大值池化层使用尺度为1×s₁的池化窗口进行最大值池化操作，s₁是池化窗口的宽度；所述局部卷积模块利用式(6)对LLDs序列W^l进行处理，得到局部卷积模块输出的特征图W^mod1：

式(6)中，pool(·)是局部最大值池化操作，conv_local(·)为局部卷积操作；

步骤2.2：全局卷积模块；

全局卷积模块由一个激活函数为Relu的全局卷积层和一个最大值池化层组成；

所述全局卷积模块使用尺度为n₂×d×l的卷积核进行全局卷积操作，其中，n₂为卷积核个数，d，l是卷积核的宽和高；所述最大值池化层使用尺度为1×s₂的池化窗口来进行最大值池化操作，s₂是池化窗口的宽度；所述全局卷积模块利用式(7)对特征图W^mod1进行处理，得到全局卷积模块输出的特征图W^mod2：

式(7)中，squeze(·)表示删除张量中维度为1的轴，pool(·)是最大值池化操作，conv(·)是全局卷积操作；

步骤2.3：SABi-LSTM模块；

所述SABi-LSTM模块由Bi-LSTM网络、注意力机制层和最大池化层构成，其中Bi-LSTM网络由双向的LSTM网络构成；

所述特征图W^mod2记为W^mod2＝[w₁，w₂，...，w_u，...，w_n/4]，w_u表示特征图W^mod2的第u列向量，并将W^mod2输入所述Bi-LSTM网络中，从而利用式(8)得到隐状态特征向量h_u：

式(8)中，表示前向输出的第u个隐状态特征向量，表示后向输出的第u个隐状态特征向量，表示拼接，和分别表示前向和后向LSTM网络；

所述归一化层利用式(9)对隐状态特征向量h_u进行处理，得到归一化矩阵W^hid：

式(9)中，μ_u表示h′_u的均值，σ_u表示h′_u的标准差，表示h′_u的第a个分量，h′_u表示归一化后的特征向量，g和b表示与h′_t相同维度的偏差和增益参数；H为所述Bi-LSTM网络中LSTM隐藏层的神经元数量，⊙两个向量之间的元素乘法；

所述注意力机制层采用双层前馈神经网络，并利用式(10)对归一化矩阵W^hid进行处理，得到注意力特征向量序列W^att：

a_j，u＝tanh(W₂(Relu(W₁(W^qh′_u+W^rh′_j+b))))

式(10)中，h′_u是第u个归一化后的特征向量，h′_j是第j个归一化后的特征向量，a_j，u是h′_u同h′_j之间的注意力分数，Relu是双层前馈神经网络中第一层的激活函数，tanh是双层前馈神经网络中第二层激活函数，b是偏置，α_j，u是使用softmax函数对a_j，u进行归一化后的注意力分数；为注意力机制层得到的第t个注意力向量，W^r、W^q和W^v是注意力机制层参数，W₁和W₂前馈神经网络中的网络参数；

所述最大池化层利用式(11)对注意力特征向量序列W^att进行最大池化处理，并用全连接层将其映射为定长的特征向量：

h_con＝pool(W^att)

式(11)中，pool(·)是最大值池化操作，W₃表示全连接层需要学习的参数矩阵，v₁表示SABi-LSTM模块最终输出的k维特征向量；

步骤3：语谱图W^g的特征提取分支；

所述语谱图W^g的特征提取分支采用如式(12)所示的卷积神经网络对语谱图W^g进行处理，得到语谱图W^g的特征提取分支输出的k维特征向量v₂并作为声谱图表征：

W^b1＝Relu(pool1(conv1(W^g)))

W^b2＝Relu(pool2(conv2(W^b1)))

式(12)中，conv(·)是卷积操作，pool(·)是池化操作，W₄是全连接层需要学习的模型参数；

步骤4：多维度特征融合的决策模块；

步骤4.1：对LLDs表征v₁和声谱图表征v₂进行特征融合，得到融合特征

步骤4.2：利用式(11)对LLDs表征v₁、声谱图表征v₂及其融合特征v进行情感预测，得到相应的情感预测结果pred1、pred2、pred3，其中，pred1是v₁的情感预测结果，pred2是v₂的情感预测结果，pred3是v₃的情感预测结果：

式(11)中，dropout(·)表示全联接层后的dropout操作；W₄、W₅、W₆是全连接层需要学习的三个模型参数；

步骤4.3：对三个预测结果进行融合，得到融合预测结果

步骤4.4：利用式(12)得到最终的语音情感预测结果p：

式(12)中，W₇是全连接层需要学习的模型参数，softmax(·)表示激活函数，C表示语音样本的情感类别总数；

步骤4.5：利用式(13)构建由交叉熵损失和L2正则化损失构成的模型的最终损失l：

式(13)中，p_m表示p的第m个分量，||θ^*||表示模型所有参数的L2正则化损失，y_m表示y的第m个分量；

步骤5：搭建多维度特征融合的语音情感识别模型；

所述多维度特征融合的语音情感识别模型由LLDs序列的特征提取分支、语谱图的特征提取分支、多维度特征融合的决策模块构成；

使用随机梯度下降法对所述语音情感识别模型进行训练，并计算最终损失l直至其收敛，从而得到训练好的语音情感识别模型，并用于对任一语音样本u(t)来进行语音情感预测，得到语音样本u(t)预测的情感类别。