[发明专利]一种基于语谱图的语音情绪识别方法

说明书

本发明属于人工智能、语音处理和情感计算领域，具体涉及一种基于语谱图的语音情绪识别方法，该方法包括：实时获取语音信号，将语音信号转化为语谱图；将语谱图输入到训练好的语音情绪识别模型中，识别语音情绪；所述语音情绪识别模型包括基于注意力机制的残差神经网络和长短时记忆神经网络LSTM；发明提出把神经网络和注意力模型结合在一起，可以更高效地学习到语谱图中语音能量值的有效特征，以提高语音情绪识别的正确率。

技术领域

本发明属于人工智能、语音处理和情感计算领域，具体涉及一种基于语谱图的语音情绪识别方法。

背景技术

语音情感识别是情感计算的一个重要组成部分。随着深度学习和人工智能的发展，情感识别在人机交互领域具有广阔的应用前景，已收到研究者的广泛关注。1995年，美国麻省理工大学的Picard教授提出了情感计算的概念。2003年，中科院自动化研究所等单位在北京主办了第一届中国情感计算及智能交互学术会议，2005年在北京主办了首届国际情感计算及智能交互学术会议，会议聚集了众多国内乃至国际上该领域的专家一起交流情感计算的看法。

Basu等人主要采用了梅尔频率倒谱系数作为输入特征，利用卷积神经网络和长短时记忆神经网络的分类方法实现了接近80％的识别率。Yamada等研究了一种传递信息的情感模型，利用BP算法作为声学模型识别基本的情感，包括悲伤、兴奋、欢乐和愤怒，达到了70％的准确率。王蔚、胡婷婷等人针对探索自然状态和表演状态下语音情感识别的差异，采用深度学习算法分析了IEMOCAP公用数据集，对自然状态和表演状态下的中性、愤怒、开心和悲伤等四类情绪语音数据进行实验，利用卷积神经网络CNN和混淆矩阵分析了两种状态下不同情绪之间的误分率和相似性。王金华、应娜等人以混合卷积神经网络模型为基础，改进特征提取中的Itti模型，并提出通过特征约束条件提取标定权重特征的约束挤压和激励网络结构，把VGGnet和长短时记忆神经网络结合，进一步提升了情感表征能力，提高了模型的泛化性。随着计算机多媒体技术的发展，人机交互越来越受到许多人的关注，用计算机来实现语音情感识别成为了当前的重要发展方向之一。

目前，将人工智能和深度学习结合起来应用于语音情绪识别获得了巨大进展，但是在使用传统神经网络和单一神经网络进行特征提取和模型训练时，由于数据集小，在进行模型的选择和建立时考虑的因素不够全面，从而对语音情绪特征的提取存在不够全面的问题，导致训练的模型不能准确地对语音进行情感分类。

发明内容

为了解决以上现有技术存在的问题，本发明提出了一种一种基于语谱图的语音情绪识别方法，该方法包括：实时获取语音信号，将语音信号转化为语谱图；将语谱图输入到训练好的语音情绪识别模型中，识别语音情绪；所述语音情绪识别模型包括基于注意力机制的残差神经网络和长短时记忆神经网络LSTM；

训练基于注意力机制的卷积神经网络模型的过程包括：

训练语音情绪识别模型的过程包括：

S1：获取原始语音信号，将原始语音信号转换为语谱图；

S2：将所有的语谱图进行集合，将集合进行分类得到训练集和测试集；

S3：将训练集中的数据中的语谱图输入到基于注意力机制的残差神经网络中，提取语谱图的加权时频情感特征图；

S4：将加权时频情感特征图输入到长短时记忆神经网络LSTM中提取时频情感特征图的时域特征，得到时域特征图；

S5：采用归一化指数函数softmax对时域特征图进行归一化处理，得到情感分类结果；

S6：根据分类结果计算模型的损失函数；

S7：将测试集数据输入到模型中，不断调整损失函数的参数，当损失函数最小时，完成模型的测试。

优选的，将语音信号转化为语谱图的过程包括：