[发明专利]一种基于因果特征抽取的域自适应跨库语音情感识别方法

说明书

本发明公开了一种基于因果特征抽取的域自适应跨库语音情感识别方法，方法包括：（1）选取训练语音数据和测试语音数据，其中，训练语音数据中包含多段语音及其对应的情感类别标签，测试语音数据中仅包含待分类语音；（2）利用声学低维描述子处理语音片段，并利用统计函数对获得值进行扩充，将扩充后得到的数据拼接为向量，作为语音情感特征；（3）建立基于因果特征抽取的域自适应模型，利用训练语音情感特征和测试语音情感特征对模型进行训练，通过域自适应和因果特征抽取，得到一个从训练数据泛化到测试数据的鲁棒模型；（4）根据分类损失，域自适应损失和因果特征损失进行反向传播，优化模型网络参数，对测试数据进行分类。

技术领域

本发明涉及语音情感识别方法，尤其涉及一种基于因果特征抽取的域自适应跨库语音情感识别方法。

背景技术

情感识别是心理学、生物学和计算机科学等多个学科的一个交叉研究领域，在人机交互，人工智能领域发挥着关键作用，近年来受到了众多研究者的关注。计算机能够理解人类情感是人工智能发展过程中的重要一环，语音情感识别的早期研究中，各种传统分类器，如高斯混合模型(Gaussian Mixture Models,GMMs)、隐马尔可夫模型(Hidden MarkovModels,HMMs)、支持向量机(Support Vector Machines,SVMs)以及多种混合模型被用于构建情感识别模型，并获得了良好的识别性能。针对跨库语音情感识别问题，重要性加权SVM也被提出用于情感特征分类，以减少训练集数据和测试集数据分布不同的问题。

相比于传统机器学习的浅层结构，深度学习方法因其深层的网络结构和大量的参数，在挖掘更有效的特征表征以及模拟更复杂的数据分布方面获得了更好的性能，同时，深度学习方法的灵活性允许研究者制作特征集进行输入以及直接使用原始语音进行端对端学习。使用卷积神经网络(Convolutional Neural Network,CNN)对语谱图进行学习，或是使用递归神经网络(Recurrent Neural Network,RNN)从帧级特征中挖掘情感信息，都取得了优越的性能，然而这些实验都是基于训练数据和测试数据同分布下开展的，在实际应用中，训练数据和测试数据极有可能来自不同文化，环境或说话者。因此，模型的泛化性难以保障，这也是语音情感识别在众多领域应用受限的关键问题。

研究者提出了大量域自适应算法用于解决训练数据和测试数据的分布不同问题，例如基于自编码架构的表征学习，域对抗以减轻域差异和基于统计度量的特征分布对齐算法，其中，最大均值差异算法被广泛用于特征分布度量，而仅仅通过对齐特征分布减轻域差异，无法有效提取域不变表征，因此，本发明关注如何在对齐特征的同时，在特征提取过程中找到关键的情感特征，主要是在深度学习完成特征表征并使用最大均值差异进行度量的基础上，构建因果性度量矩阵，以建模特征中各个维度的相关性和独立性，训练出更好的特征处理网络，以提升模型情感识别性能。

发明内容

发明目的：本文针对现有模型无法有效泛化到测试数据上的问题，构建了一个基于因果特征抽取的域自适应跨库语音情感识别模型，在完成特征分布对齐的同时，建模特征的相关性和独立性，以完成高质量的域自适应过程。

技术方案：本发明所述的基于因果特征抽取的域自适应跨库语音情感识别方法包括：

(1)使用两个语音数据库，分别作为训练语音库和测试语音库，其中，训练语音库包含多段语音及其对应的情感类别标签，测试数据库中仅包含待识别语音数据；

(2)利用声学低维描述子处理语音片段，并利用统计函数对获得值进行扩充，将扩充后得到的数据拼接为向量，作为语音情感特征；

(3)建立基于因果特征抽取的域自适应模型，利用训练语音情感特征和测试语音情感特征对模型进行训练，通过域自适应和因果特征抽取，得到一个从训练数据泛化到测试数据的鲁棒模型，模型损失回传，优化网络参数；

(4)重复步骤(3)，直至训练达到预设的轮次，完成模型优化，对训练语音数据进行情感分类。