[发明专利]一种基于语谱图和注意力机制的声纹识别方法

权利要求书

1.一种基于语谱图和注意力机制的声纹识别方法，其特征在于，包括步骤

S1：数据预处理，将语音语料利用Kaldi语音识别工具进行处理，所述S1包括步骤：

S11，语音语料采用Voxceleb1语音数据库；

S12，利用Kaldi生成spk2utt、utt2spk和wav.scp文件；

S2：特征提取，利用Kaldi语音识别工具提取语谱图作为输入特征，所述S2包括步骤：

S21，将语音信号输入Kaldi语音识别工具；

S22，对语音信号进行分帧加窗；

S23，对分帧加窗后的语音信号进行傅里叶变换；

S24，对傅里叶变换后的语音信号进行能量密度计算；

S25，对经能量密度计算后的语音信号以时间为横轴，频率为纵轴，将每一帧信号按照时序进行连接，得到语音信号的语谱；

S3：特征处理，将所述语谱图输入卷积神经网络，利用卷积神经网络对多语谱图进行自动优化和降维；

S4：模型训练，利用X-Vector说话人识别模型对语谱图特征进行训练，并引入注意力机制对帧级别特征进行权重处理，所述S4包括步骤：

S41，在对语音信号处理时，将信号进行分帧处理，每一帧都用相应的向量表示，使得一个语音信号用一个矩阵X＝(x₁,x₂,…,x_i…,x_t)表示，其中x_i代表第i帧的向量，维度为d，故X∈R^t＝d；

S42，将注意力机制与统计层相结合，计算语音信号的加权统计量，然后计算不同帧的权重，假设统计层的输入为T帧向量H＝{m₁,m₂,…,m_i,…,m_T}，每一帧特征m_i的维度为d_h，因此，H的大小为d_h×T，采用注意力机制可以计算出每一帧的权重，如此计算可以得到一个权重矩阵A，如公式(1)所示：

A＝[α₁,α₂,…α_T]＝soft max(f(H^TW))    (1)

其中，f(·)为激活函数，采用ReLU函数，W表示变换矩阵；

S43，利用权重得到加权统计量，如公式(2)和公式(3)所示：

用[μ,σ]来表示一段语音信号；

S44，统计层中采用多头注意力机制，再将结果进行拼接，如公式(4)所示：

Multi-Head(μ,σ)＝Comcat([μ₁,σ₁],[μ₂,σ₂],…[μ_h,σ_h])    (4)

其中，[μ,σ]表示单个注意力机制计算得到的结果；

S5：打分判决，利用概率线性判别分析算法PLDA对两个待测样本的似然对数比得分和预设条件进行判定，给出两个样本是否为同一个说话人的判断，所述S5包括步骤：

S51，将X-Vector进行因子分析，计算如公式(5)所示，

P_i＝m+Φβ+ε_γ     (5)

其中，m为训练数据全局均值，Φ为描述说话人类间差异的子空间矩阵，β是满足标准正态分布特征的隐含因子，且与说话人身份相关，ε_γ是对角矩阵∑的残余项；

S52，在决策打分环节，依次用η₁、η₂进行描述，两者的对数似然比的计算如公式(6)所示，

其中，R_s表示η₁和η₂来自同一个说话人的条件，R_d表示η₁和η₂来自不同说话人的条件。