[发明专利]一种基于敏感度可调的语音情感识别方法及系统

权利要求书

1.一种基于敏感度可调的语音情感识别方法，其特征在于，包括如下步骤：

(1)接收用户语音信号，提取语音的声学特征矢量，具体包括：

(1.1)将音频分割为帧，对每个语音句子提取帧级的低层次声学特征；

(1.2)应用全局统计函数，将每个语音句子中的每一组时长不等的基础声学特征转化为等长的静态特征，得到多维度的声学特征矢量；

其中，将音频分割为帧，对每个语音句子提取帧级的低层次声学特征包括语音预处理，所述语音预处理具体包括：

(1.1.1)利用预加重数字滤波器对音频进行预加重，使语音高频部分得以提升；

(1.1.2)对预加重后的音频数据进行加窗分帧处理，所述分帧采用交叠分段的方法，前一帧与后一帧的交叠部分称为帧移，帧移与帧长的比值取1/2，分帧是用可移动的有限长度窗口进行加权和利用窗函数ω(n)在原始语音信号s(n)之上叠加来实现，公式如下：

s_ω(n)＝s(n)*ω(n)

其中，s_ω(n)就是加窗分帧处理后的语音信号，并且窗函数使用汉明窗函数，表达式如下：

其中，N为帧长；

(1.1.3)去除静音段和噪声段，其中利用短时能量和短时过零率进行两级判决，来获得端点检测结果，具体包括：

(A)计算短时能量：

其中，s_i(n)为每一帧的信号，i表示帧数，N为帧长；

(B)计算短时过零率：

其中，

(C)计算语音和噪声的平均能量，设置一高一低两个能量门限T₁和T₂，高门限确定语音开端，低门限判断语音结束点；

(D)计算背景噪声的平均过零率，设置过零率门限T₃，用于判断语音前端的清音位置和后端的尾音位置，从而完成辅助判决；

(2)将语音信号转换为文本信息，获取语音的文本特征矢量，具体包括：

(2.1)利用文本数据集对不同种情感分别进行词频与逆词频统计；

(2.2)根据统计结果，每种情感选取前N个词，合并去除重复词后形成去除重复词，合并成基本词汇表；

(2.3)判断语音文本中的每个词在每个样本词汇表中是否出现，出现为1，不出现为0，得到语音文本特征矢量；

(3)将声学特征矢量和文本特征矢量输入语音情情感识别模型和文本情感识别模型中，分别得到不同情感的概率值，其中所述语音情感识别模型和文本情感识别模型是使用如下卷积神经网络结构分别对声音样本数据集和文本样本数据集进行训练而得到：

(a)分类器结构为两个卷积层加上一个全连接层,第一层使用32个卷积核，第二层卷积层采用64个卷积核，两层都采用一维的卷积层，卷积核的窗长度为10，卷积步长为1，补零策略采用same，保留边界处的卷积结果；

(b)第一、第二层的激活函数采用relu函数，训练时设置变量dropoutrate为0.2；

(c)池化层采用最大值池化方式，池化窗口大小设为2，下采样因子设为2，补零策略采用上下左右补0的方法，保留边界处的卷积结果；

(d)最后的全连接层选用softmax激活函数对所有的dropout层的输出进行回归得到情感类型的输出概率；

(4)设置不同情感的权值，所述情感包括高兴、生气、悲伤和平静，结合不同情感的概率值，加权融合后，得到语音情感的最终判断识别结果，具体包括：

(4.1)通过语音情感识别模型对语音信号进行处理，得到高兴的概率SH、生气的概率SA、悲伤的概率SS和平静的概率SM；

(4.2)通过文本情感识别模型对语音信号进行处理，得到高兴的概率TH、生气的概率TA、悲伤的概率TS和平静的概率TM；

(4.3)设置高兴的权值为PH、生气的权值为PA、悲伤的权值为PS和平静的权值为PM；

(4.4)通过下述公式计算情感的判断识别结果E：

E＝Max((SH+TH)*PH,(SA+TA)*PA,(SS+TS)*PS,(SM+TM)*PM),其中Max()表示取最大值，(SH+TH)*PH,(SA+TA)*PA,(SS+TS)*PS,(SM+TM)*PM分别表示加权后的高兴的概率、生气的概率、悲伤的概率和平静的概率。

2.一种用于实现权利要求1所述的基于敏感度可调的语音情感识别方法的语音情感识别系统，其特征在于，包括如下模块：

声学特征矢量模块，用于接收用户语音信号，提取语音的声学特征矢量；

文本特征矢量模块，用于将语音信号转换为文本信息，获取语音的文本特征矢量；

情感概率计算模块，将声学特征矢量和文本特征矢量输入语音情情感识别模型和文本情感识别模型中，分别得到不同情感的概率值；

情感权值设置模块，设置调整不同情感的权值；

情感判断识别模块，根据每一情感类别的概率，加权融合后，得到语音情感的最终判断识别结果；

其中，所述声学特征矢量模块功能如下：

(1.1)将音频分割为帧，对每个语音句子提取帧级的低层次声学特征；

(1.2)应用全局统计函数，将每个语音句子中的每一组时长不等的基础声学特征转化为等长的静态特征，得到多维度的声学特征矢量；

所述文本特征矢量模块功能如下：

(2.1)利用文本数据集对不同种情感分别进行词频与逆词频统计；

(2.2)根据统计结果，每种情感选取前N个词，合并去除重复词后形成去除重复词，合并成基本词汇表；

(2.3)判断语音文本中的每个词在每个样本词汇表中是否出现，出现为1，不出现为0，得到语音文本特征矢量；

所述情感判断识别模块功能如下：

(4.1)通过语音情感识别模型对语音信号进行处理，得到高兴的概率SH、生气的概率SA、悲伤的概率SS和平静的概率SM；

(4.2)通过文本情感识别模型对语音信号进行处理，得到高兴的概率TH、生气的概率TA、悲伤的概率TS和平静的概率TM；

(4.3)设置高兴的权值为PH、生气的权值为PA、悲伤的权值为PS和平静的权值为PM；

(4.4)通过下述公式计算情感的判断识别结果E：

E＝Max((SH+TH)*PH,(SA+TA)*PA,(SS+TS)*PS,(SM+TM)*PM),其中Max()表示取最大值，(SH+TH)*PH,(SA+TA)*PA,(SS+TS)*PS,(SM+TM)*PM分别表示加权后的高兴的概率、生气的概率、悲伤的概率和平静的概率。