[发明专利]基于多尺度差异对抗的跨数据库语音情感识别方法及装置

说明书

本发明公开了一种基于多尺度差异对抗的跨数据库语音情感识别方法，方法包括：（1）获取多个语音情感数据库；（2）提取每一语音信号的全局IS10特征，提取全局特征；（3）将语音信号分成前后重叠50%的五段短片段并分别提取其IS10特征；（4）输入双向长短时间记忆模型，再输入注意力机制模型，输出作为局部特征；（5）将全局IS10特征和局部特征并联，提取联合特征；（6）建立神经网络，包括对应于上述三种尺度的三个领域判别器，和情感分类器；（7）训练神经网络，网络总损失为情感分类器损失减去三个领域判别器损失；（8）获取待识别语音信号的三种尺度特征，输入训练好的神经网络，得到预测的情感类别。本发明识别结果更准确。

技术领域

本发明涉及语音情感识别技术，尤其涉及一种基于多尺度差异对抗的跨数据库语音情感识别方法及装置。

背景技术

语音情感识别是情感计算领域中的一个热门研究问题，应用前景广阔。由于不同数据库之间存在较大的特征分布差异，很大程度上影响了系统的表现。同时语音信号具有独特的序列属性，所以语音情感识别可以被看作是动态或者静态的分类问题。现有的方法大多从两个角度处理语音信号：帧尺度、整句话尺度。跨数据库语音情感识别的难点在于提取合适的语音情感特征并缩小源域数据库(训练数据库)数据以及目标域数据库(测试数据库)数据的特征分布差异。

发明内容

发明目的：本发明针对现有技术存在的问题，提供一种基于多尺度差异对抗的跨数据库语音情感识别方法，本发明采用局部，全局和联合尺度上进行领域对抗学习，减小源域数据库数据以及目标域数据库数据的特征分布差异，在此基础之上进行分类，使得识别结果更准确。

技术方案：本发明所述的基于多尺度差异对抗的跨数据库语音情感识别方法包括：

(1)获取存储有若干语音信号和对应情感类别标签的语音情感数据库，并划分为源域数据库和目标域数据库；

(2)对于源域数据库和目标域数据库中的每个语音信号，提取IS10 low-level特征，然后利用卷积神经网络做为全局特征提取器提取深度特征，作为全局特征X^g；特征提取器包括三层卷积层；

(3)对于源域数据库和目标域数据库的每个语音信号，将其按照时间顺序分成前后重叠50％的若干短片段，并提取每个短片段的IS10特征；

(4)将每个语音信号的所有短片段的IS10特征输入双向长短时间记忆模型，随后再输入进注意力机制模型，输出作为对应语音信号的局部特征；

(5)对于源域数据库和目标域数据库中的每个语音信号，将全局IS10特征和局部特征并联，输入另一个卷积神经网络做为联合特征提取器提取深度特征，作为联合特征，特征提取器包括三层卷积层；

(6)建立神经网络，所述神经网络包括对应于上述三种尺度的三个领域判别器，和情感分类器，所述领域判别器包括两层全连接层，输出为预测的语音信号所属领域类别，所述情感分类器包括两层全连接层，输出为预测的语音信号的情感类别；

(7)对所述神经网络进行训练，训练时，将源域数据库和目标域数据库中每一语音信号的局部特征，全局特征和联合特征分别混合起来作为三个样本，输入对应尺度的领域判别器，将源域数据库中每一语音信号的联合特征作为一个样本，输入情感分类器，网络总损失为情感分类器损失减去三个领域判别器损失，通过反向传播算法更新网络参数，完成网络训练；

(8)获取待识别语音信号的三种尺度特征，输入训练好的神经网络，得到预测的情感类别。

进一步的，步骤(1)中，划分源域数据库和目标域数据库的方法为：将一个语音情感数据库语音信号和对应情感类别标签作为目标域数据库，另一个语音情感数据库的语音信号和对应情感类别标签作为源域数据库。两种数据库可以是不同语言的。

进一步的，步骤(2)中所述全局特征提取器为：