[发明专利]语音情感分析方法和装置

说明书

本发明提供一种语音情感分析方法和装置。所述方法包括：基于重采样的数字语音信号获取语音信号的频率幅值谱；基于所述频率幅值谱获取语音信号的多重语音特征；以及将多重语音特征融合处理并通过时序记忆网络处理和时空注意力网络处理来实现语音情感分析。

技术领域

本发明涉及人工智能领域，具体地说，本发明涉及一种语音情感分析方法和装置。

背景技术

语音已经是人们传递信息和表达感情的重要媒介，近年来，随着语音识别和深度学习人工智能技术的发展，继图像信号之后，语音信号成为信息时代背景下用于思想沟通、感情交流和人机交互等的基本途径和高效技术手段，例如，常用的语音通话设备和诸如智能音箱等智能人机交互工具。语音情感识别的研究对于增强计算机的智能化和人性化、开发新型人机环境以及推动心理学等学科的发展有着重要的现实意义，并将产生显著的经济和社会效益。

传统的语音情感识别领域的研究在于分析语音的声学统计特征，选用的数据集是语音条目较少且语义较简单的情感语音数据库，因此用于情感分析的声学模型不具备普遍性。同时，因为统计特征常常使用类似线性判别分析法等方法，导致分析结果的准确率低。虽然提出了利用深度信念网络来自动提取特征的方法，并且还采用过线性判别分类的方法、k最近邻法和支持向量机等方法取得了60％-65％的识别准确率，但是结果仍不理想。

发明内容

提供本发明内容是为了以简化的形式介绍所选择的构思，并在下面的具体实施方式中进一步描述这些构思。本发明内容无意确定所要求保护的主题的关键特征或必要特征，也无意用于帮助确定所要求保护的主题的范围。

本公开的一方面提供一种语音情感分析方法，所述方法包括：基于重采样的数字语音信号获取语音信号的频率幅值谱；基于所述频率幅值谱获取语音信号的多重语音特征；以及将多重语音特征融合处理并通过时序记忆网络处理和时空注意力网络处理来实现语音情感分析。

所述多重语音特征可包括：频谱中心特征、频谱平坦度特征、梅尔频率倒谱系数特征、短时傅里叶变换色谱图特征、梅尔频谱特征、语音信号频率幅值谱对比度特征、均方根能量特征和短时语音信号平均过零率特征。

所述多重语音特征融合处理可包括数据幅值的归一化处理和并行数据的拼接处理。

所述时序记忆网络处理输出的序列数据可由所述时序记忆网络处理的时序记忆信息和融合的多重语音特征的当前时刻输入序列数据共同决定，其中，所述时序记忆信息可由融合的多重语音特征的上一时刻输入序列数据和上一时刻的时序记忆信息通过记忆更新单元得到。

所述时空注意力网络处理基于所述时序记忆网络处理输出的序列数据来提取时序方向的时序关联系数，针对时序方向根据得到的时序关联系数对所述序列数据进行加权产生更新的序列数据，并且可基于所述更新的序列数据来提取并行方向上的并行关联系数，针对并行方向根据得到的并行关联系数对所述更新的序列数据进行加权产生用于语音情感分类的特征数据。

本公开的另一方面提供一种语音情感分析装置，所述控制装置包括：采样模块，接收语音信息的输入并基于预定采样率进行重采样，获得语音信号的频率幅值谱；特征提取模块，基于所述频率幅值谱获取语音信号的多重语音特征；以及情感分析模块，将多重语音特征融合处理并通过时序记忆网络处理和时空注意力网络处理来实现语音情感分析。

情感分析模块的所述时序记忆网络处理输出的序列数据可由所述时序记忆网络处理的时序记忆信息和融合的多重语音特征的当前时刻输入序列数据共同决定，其中，所述时序记忆信息可由融合的多重语音特征的上一时刻输入序列数据和上一时刻的时序记忆信息通过记忆更新单元得到。