[发明专利]一种语音情感识别系统及语音情感识别方法

权利要求书

1.一种语音情感识别系统，其特征在于，包括：

依次连接的音频预处理模块、CNN模块、金字塔FSMN模块、时间步注意力模块和输出模块，所述CNN模块具有卷积层；

所述音频预处理模块把接收到的原始音频数据转换为语谱特征图；

所述CNN模块对语谱特征图进行初步处理，构建包含浅层信息的特征图；

所述金字塔FSMN模块对包含浅层信息的特征图进行进一步处理，以获取更深层次的语义信息和上下文信息；

所述时间步注意力模块用于关注时间步中特定的区域，并计算不同时间步长对最终情感识别的影响权重；

所述输出模块具有若干种情感类别，该输出模块用于输出与原始音频数据最相匹配的情感类别；其中，

当所述卷积层采用具有k大小的核和s大小的步长进行卷积操作时，所述卷积层的输出通过以下公式进行计算：

W_out＝(W_in-k)/s+1，

H_out＝(H_in-k)/s+1，

其中，W_out是输出语谱特征图的宽，W_in是输入语谱特征图的宽，k是卷积核大小，s是卷积核移动的步长；H_out是输出特征图的高，H_in是输入特征图的高，k是卷积核大小，s是卷积核移动的步长；

所述金字塔FSMN模块具有金字塔记忆块结构，采用所述金字塔记忆块结构，将长度为前向时间步长N₁和后向时间步长N₂的时间步长h_t，编码为一个固定大小的长度，然后将N₁与N₂的和计算为当前输出，该当前输出具体如以下公式所示：

其中，是t时刻记忆模块的输出，f是任意激活函数，a_i是第i个前向时间步的权重，h_t-i是第i个前向时间步，b_j是第j个后向时间步的权重，h_t-j是第j个前向时间步；

所述金字塔记忆块结构采用跳跃连接，该跳跃连接的输入与输出的关系如以下公式所示：

其中，是第l层t时刻记忆块的输出，是任意激活函数，是第1-1层t时刻的记忆块输出，是第l层t时刻记忆块的输入，是第l层前向时间步长，是l层第i个前向时间步的权重，是l层第i个前向时间步，s₁是前向时间步间隔，是l层第i个后向时间步的权重，是l层第j个后向时间步，s₂是后向时间步间隔；是第l+1层t时刻隐藏层输出，W^l是第l层记忆块的权重参数，b^l+1是第l层记忆块的偏置。

2.根据权利要求1所述的语音情感识别系统，其特征在于，所述时间步注意力模块具体如以下公式所示：

a_t＝Average(h_t)，

y＝Xs，

其中，a_t是第t个时间步的均值，h_t是第t个时间步的特征向量，Average是求均值函数；s是注意力机制的输出，是softmax激活函数，W₁是时间步注意力模块中第一层的权重参数，W₂是时间步注意力模块中第二层的权重参数，b₁是时间步注意力模块中第一层的偏置参数，b₂是时间步注意力模块中第二层的偏置参数，f是任意激活函数，a是由所有a_t构成的特征向量；y是输出模块的输出结果，X是时间步注意力模块的输入。

3.根据权利要求1至2任一项所述的语音情感识别系统，其特征在于，所述卷积层为两层。

4.根据权利要求1至2任一项所述的语音情感识别系统，其特征在于，所述浅层信息为音频响度或频率。

5.根据权利要求1至2任一项所述的语音情感识别系统，其特征在于，所述若干种情感类别为四种情感类别。