[发明专利]一种基于transformer模型编码器的语音情感特征提取方法

权利要求书

1.一种基于transformer模型编码器的语音情感特征提取方法，其特征在于：首先利用sincnet滤波器从原始语音波形中提取低级语音情感特征，然后利用多层transformer模型编码器对低级语音情感特征进一步学习；多层transformer模型编码器为常规transformer模型编码器前添加一层sincnet滤波器，即一组具有带通滤波器的参数化sinc函数，利用sincnet滤波器完成语音原始波形信号的低级特征提取工作，并使网络更好的捕捉重要的窄带情感特征；

多层transformer模型编码器，由sincnet滤波器与transformer模型编码器构建的一种融合上下文特征的神经网络结构，包括输入层、中间层以及输出层，中间层包括顺序连接的sincnet滤波器、transformer模型编码器结构以及池化层，常规transformer模型编码器部分包括多头注意力子层、全连接层以及前馈神经网络。

2.根据权利要求1所述的基于transformer模型编码器的语音情感特征提取方法，其特征在于具体步骤如下：

S1：将输入的语音数据预处理后转换为原始语音波形；

S2：在常规transformer模型编码器的前添加一层sincnet滤波器，构建出一个可融合全局上下文信息特征的改进transformer模型编码器；

S3：将原始语音波形与sincnet进行卷积计算，捕捉出语音信号中包含的低级情感信息特征h[n]；

S4：使用transformer模型编码器对低级情感信息特征h[n]再次进行处理，得到更深层次包含全局上下文信息的帧级情感特征y[n]

S5：将具有全局信息的帧级情感特征y[n]输入池化层，通过池化并与经验权重向量相乘，使每一次迭代中的帧级特征合并，最终合并为一个话语级情感特征向量；

S6：利用softmax分类器对话语级情感特征进行分类，从而获得当前的输入语音数据的情感。

3.根据权利要求2所述的基于transformer模型编码器的语音情感特征提取方法，其特征在于将语音数据转换成原始语音波形的步骤如下：首先对原始波形信号进行预加重、加窗分帧和端点检测的预处理获得x[n]，每个语音波形的采样率设置为16KHZ，16bit量化，同时使用窗长和偏移为250ms和10ms的Hamming窗口，再将语音信号转变为原始语音波形图。

4.根据权利要求2所述的基于transformer模型编码器的语音情感特征提取方法，其特征在于步骤S2具体为：

将语音波形信号x[n]和SincNet层滤波器组函数g[n,θ]之间执行卷积计算，构建出包含低级情感信息特征h[n]，其映射关系式为：h[n]＝x[n]*g[n,θ]，其中θ为可学习参数，g为滤波器组函数；

所述sincnet层是一种基于参数化sinc函数，由矩形带通滤波器组成，矩形带通滤波器能够用两个具有可学习截止频率的低通滤波器来表示，具体公式如下：

g[n,f₁,f₂]＝2f₂sinc(2πf₂n)-2f₁sinc(2πf₁n)，

其中，f₁,f₂表示低截止频率和高截止频率，低截止频率和高截止频率是从数据中学习到的滤波器的唯一参数。