[发明专利]一种基于多尺度时空注意力机制的语音情感识别方法

说明书

本发明公开了一种基于多尺度时空注意力机制的语音情感识别方法，属于语音分析技术领域。本发明方法包括：首先将经过预处理后的语音片段分别提取帧级特征和话语级特征；再从帧级特征中提取帧级深度空间特征和帧级深度时间特征；结合所述帧级深度空间特征和帧级深度时间特征得到帧级深度情感特征；同时从话语级特征中提取话语级深度情感特征；之后基于多头注意力机制融合帧级深度情感特征和话语级深度情感特征；最后利用损失函数优化模型，并通过所述模型输出语音片段的情感分类，最终利用多路决策方法决策出整体语音的情感分类。本发明语音情感识别方法基于语音中的多尺度时空深层情感特征，能有效提高现有语音情感识别技术的识别率。

技术领域

本发明属于语音分析技术领域，更具体地，涉及一种基于多尺度时空注意力机制的语音情感识别方法。

背景技术

语音情感识别已成为人机交互领域的一个重要课题，情感特征在语音情感识别中起着重要的作用。

目前现有语音情感识别方法如：LUO D，ZOU Y，HUANG D等人发表了Investigationon Joint Representation Learning for Robust Feature Extraction in SpeechEmotion Recognition，该文章中公开了利用手工制作的HSF描述了各种韵律、频谱和语音质量特征的统计特征，而CRNN只从频谱图中学习；这两类特征分别从不同的方面描述言语的情感状态，分别位于各自的特征空间中；因此，这两种特征之间存在互补性；为了充分利用语音中编码的情感信息，并为SER提取鲁棒特征，两种特征可以相互配合，有望获得更好的性能；然而在该方法中并没有深层次的挖掘到不同特征的深度表征，简单融合，不能综合不同特征的优点，因此方法存在无法挖掘到深层次的情感特征，使得最终的识别效果较差。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于多尺度时空注意力机制的语音情感识别方法，其目的在于提高语音情感识别的识别率。

第一方面，本发明提供了一种基于多尺度时空注意力机制的语音情感识别模型训练方法，所述方法包括：

按预设时长对语音数据进行分段，再对语音片段进行特征提取，获得帧级特征和话语级特征；

分别利用基于注意力机制的多尺度卷积网络和双向长短时记忆网络从所述帧级特征中提取帧级深度空间特征和帧级深度时间特征；结合所述帧级深度空间特征和帧级深度时间特征得到帧级深度情感特征；

从话语级特征中提取话语级深度情感特征；

基于多头注意力机制融合所述帧级深度情感特征和所述话语级深度情感特征得到感情识别模型；

利用损失函数优化所述感情识别模型。

可选的，利用损失函数优化所述感情识别模型后，再通过所述感情识别模型识别出整体语音中所有语音片段的情感分类，通过多路决策对每个语音片段的情感分类进行投票，投票数最多的情感类别即决策为整体语音的情感类别。

可选的，所述基于注意力机制的多尺度卷积网络中，包括在同一层次上并行的多尺度卷积层，所述多尺度卷积层通过设置不同感受野的多尺度卷积核来捕捉不同大小的时频特征。

可选的，所述基于注意力机制的多尺度卷积网络中，利用自注意力机制从多尺度卷积层的输出中筛选与语音情感识别相关的特征：

其中，Attention(·)表示自注意力机制，Q表示查询向量，K表示被查向量，V表示内容向量，softmax(·)表示归一化操作，d_k表示缩放因子，为参数K的维数，T表示转置；自注意机制使用K,V对来表示存储的内容，根据Q和K计算权重系数，并根据权重系数对V进行加权求和；在自注意力中，Q，K和V来自同一个输入。