[发明专利]一种语音情感识别系统及语音情感识别方法

说明书

本发明公开了一种语音情感识别系统，包括：依次连接的音频预处理模块、CNN模块、金字塔FSMN模块、时间步注意力模块和输出模块；本发明还公开了一种应用于语音情感识别系统的语音情感识别方法，包括以下步骤：1、对语音进行初步的作，得到语谱特征图；2、对语谱特征图进行操作，构建包含音频浅层信息的语谱特征图；3、对包含音频浅层信息的语谱特征图进行进一步处理，获取更深层次的语义信息和上下文信息；4、对具有更深层次的语义信息和上下文信息的语谱特征图进行处理，得到整段语音与说话人情感相关度最高的特征向量；5、输出与整段语音相对应的情感类别。本发明的语音情感识别性能相对于现有技术，取得了相当大的提升。

技术领域

本发明涉及人工智能和语音识别技术领域，具体涉及一种语音情感识别系统及语音情感识别方法，是一种端到端的深度神经网络技术，以DFSMN为基础网络进行改进。

背景技术

随着语音识别技术的不断进步和语音识别设备的广泛应用，人机交互在人们的日常生活中越来越普遍。然而，这些设备大多只能识别人类语言的文字级内容，不能识别说话人的情感状态，而语音情感识别在以人为中心的服务和人机交互方面有许多有用的应用，比如智能服务机器人、自动化呼叫中心和远程教育。到目前为止，它已经引起了相当多的研究关注，并提出了许多方法。由于近些年以来机器学习(如CNN等深度神经网络)迅速发展，通过在很多领域进行的尝试和改进，这种方法都表现出了良好的性能。如何将深度学习技术应用于该领域依然处于摸索状态，在实际应用中，解决这项具有挑战性的任务面临的很多问题是亟待解决的。语音情感识别技术的现实应用是一项具有挑战性的任务，需要收集海量复杂和困难的音频数据进行研究，如何让纯净环境录制的音频更接近真实场景下的语音，是现有技术中需要解决的一大问题。

典型的语音情感识别(SER)系统以语音波形作为输入，然后输出目标情感类别之一。传统的SER系统使用高斯混合模型(GMMs)(Neiberg D,Elenius K,LaskowskiK.Emotion recognition in spontaneous speech using GMMs[C]//NinthInternational Conference on Spoken Language Processing.2006.)、隐马尔可夫模型(HMMs)(Nwe T L,Foo S W,De Silva L C.Speech emotion recognition usinghiddenMarkov models[J].Speech communication,2003,41(4):603-623.)、支持向量机(SVMs)(Yang N,Yuan J,Zhou Y,et al.Enhanced multiclass SVM with thresholdingfusion for speech-based emotion classification[J].International journal ofspeech technology,2017,20(1):27-41.)和长短时记忆(LSTM)(Tao F,Liu G.AdvancedLSTM:A study about better time dependency modeling in emotion recognition[C]//2018IEEE International Conference onAcoustics,Speech and SignalProcessing(ICASSP).IEEE,2018:2906-2910.)，这些系统存在一个显著的问题是都依赖于成熟的手工语音特征，特征的选取对模型效果影响很大。这些特征通常包括帧级别语音信号的频谱、倒谱、基音和能量特征。然后将这些特征的统计函数跨多个帧应用，得到一个话语级特征向量。