[发明专利]基于元度量学习的小样本语音情感识别方法及装置

说明书

本发明提供了一种基于元度量学习的小样本语音情感识别方法及装置。该方法一方面提出一种基于密度分布评估的自适应过采样数据不平衡处理方法，动态处理不同类别数据间的不平衡问题，另一方面基于度量学习的小样本学习方法，并结合元学习的训练方式，不仅能够对小样本数据集进行情感识别，并且摆脱了大规模数据库对模型预训练的过程。该方法相比于传统的小样本学习方法，识别准确率高，可实现性好。

技术领域

本发明涉及情感识别技术领域，尤其涉及一种基于元度量学习的小样本语音情感识别方法及装置。

背景技术

语音情感识别方法主要分为基于情感特征提取的和基于语谱图分类的语音情感识别两部分。目前的研究中，这两种方法都广泛地与深度学习领域的相关算法进行结合，以获得更好的识别效果。申请公布号为CN114664289A的发明专利“一种基于卷积神经网络的语音情感识别方法”，公开了一种基于卷积神经网络的语音情感识别方法，该方法以语谱图作为输入，使用深度学习技术进行语音情感识别。授权公布号为CN111429947B的发明专利“一种基于多级残差卷积神经网络的语音情感识别方法”，构建多级残差卷积神经网络,并将语谱图输入到多级残差卷积神经网络进行训练。申请公布号为CN114566188A的发明专利“一种基于语谱图的语音情感识别方法”，将语谱图输入到深度卷积神经网络进行深层情感特征的学习并在此基础上通过长短期记忆网络捕获不同语音片段之间的上下文关系，最终实现对输入语音的情感的识别。

目前的语音情感识别大多使用大规模数据集进行模型训练，并取得了较多的成果和较高的识别准确率，但这有赖于足量的有标签数据，而实际上不规模且有标注的数据集的获取是困难的。当数据量不足时，识别模型的准确率显著下降。在小样本环境下，模型的情感识别准确率相对较低。当样本数据量较少时，使用传统的语音情感识别模型训练时容易出现过拟合的问题，这往往会导致情感识别准确率的降低，难以达到理想的效果。

当前的语音情感识别模型一般不考虑数据的不平衡问题，这导致识别时过多关注多数类样本的特征信息，从而忽视多少数类样本的特征的学习，这导致识别率的类别间差异性。进一步地，现实中的语音情感数据通常呈现出动态变化的特性，数据分布会随着时间发生变化，由此可能导致语音数据的多数类和少数类的变化。然而，目前大部分的不平衡数据分类模型都是静态模型，即一旦被训练确定，则不会动态调整其参数和结构，使其无法实时地学习新增数据的特征。

发明内容

为了解决当样本数据量较少时，使用传统的语音情感识别模型训练时容易出现过拟合的问题，以及由于忽视数据不平衡性导致的识别率的类别间差异性问题，本发明提出一种基于元度量学习的小样本语音情感识别方法及装置，该方法一方面提出一种基于密度分布评估的自适应过采样数据不平衡处理方法，动态处理不同类别数据间的不平衡问题，另一方面基于度量学习的小样本学习方法，并结合元学习的训练方式，不仅能够对小样本数据集进行情感识别，并且摆脱了大规模数据库对模型预训练的过程。该方法相比于传统的小样本学习方法，识别准确率高，可实现性好。

根据本发明的一个方面，本发明提供了一种基于元度量学习的小样本语音情感识别方法，包括以下步骤：

S1：获取小样本语音情感数据集并进行数据处理，包括不平衡数据处理、语音信号预处理和语谱图生成，以获得语谱图数据集；

S2：依据元学习的标准，将所述语谱图数据集拆分成元训练阶段所使用的支持集S和查询集Q，以及元测试阶段所使用的支持集S'和查询集Q'；

S3：搭建基于度量学习的小样本语音情感识别模型；

S4：分元训练和元测试两阶段对所述小样本语音情感识别模型进行训练和测试，其中元训练阶段训练超参数，元测试阶段训练参数，训练完成后，得到训练好的模型；

S5：通过所述训练好的模型进行语音情感识别，得到语音情感识别结果。

优选地，步骤S1包括：

S11：获取小样本语音情感数据集；