[发明专利]一种基于孪生神经网络的短语音说话人匹配方法

说明书

本发明公开了一种基于孪生神经网络的短语音说话人匹配方法，步骤如下：构造训练样本对；从各样本提取对数梅尔能量谱特征；搭建孪生神经网络，包括依次连接的空洞循环卷积子网络、说话人表征层和Sigmoid输出模块；将从各训练样本对提取的对数梅尔能量谱特征输入空洞循环卷积子网络以得到样本对的两个说话人表征矢量；拼接样本对的两个说话人表征矢量并输入Sigmoid输出模块，训练孪生神经网络；采用经训练的孪生神经网络判断输入的两段短语音是否属于同一个说话人，得到说话人匹配结果。本方法引入空洞循环卷积子网络使孪生神经网络获得更大的感受野，并利用语音样本前后帧之间的说话人信息，获得更好的说话人匹配结果。

技术领域

本发明涉及语音信号处理与模式识别技术领域，具体涉及一种基于孪生神经网络的短语音说话人匹配方法。

背景技术

说话人匹配的任务是鉴别两个语音样本是否来自于同一个说话人，可应用于语音鉴别和语料库语音文件的整理。深度神经网络在语音处理领域的兴起，意味着对语音数据集的庞大需求，语料库中的录音文件也随之飞速增多，而鉴别两段不同语音样本是否来自于同一个说话人对于整理庞大而杂乱的语音语料库非常重要。

传统的说话人识别技术，如高斯混合模型(Gaussian Mixture Model)、通用背景模型(Universal Background Model)以及I-vector等不足以应对日益增长的识别精度和鲁棒性的要求。现有主流的基于深度神经网络提取的d-vector和x-vector等深度表征虽然在性能表现上逐渐超越传统特征，但仍存在以下不足：需要大量的长时语音训练样本，对于短时语音(如小于等于2秒)的性能表现较差；当训练数据不充足时，容易过拟合，导致性能严重下降甚至不如I-vector等传统特征。因此目前亟待提出一种有效的短语音说话人匹配方法，提升说话人匹配性能。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于孪生神经网络的短语音说话人匹配方法。

本发明的目的可以通过采取如下技术方案达到：

一种基于孪生神经网络的短语音说话人匹配方法，所述短语音说话人匹配方法包括以下步骤：

S1、构造训练样本对，所述训练样本对包括两个语音样本来自同一个说话人的正样本对、两个语音样本来自不同说话人的负样本对；

S2、提取各样本对中两个语音样本的对数梅尔能量谱特征，过程如下：预加重、分帧、加窗，然后分别提取每一帧的对数梅尔能量谱特征；

S3、搭建孪生神经网络，所述孪生神经网络包括依次连接的空洞循环卷积子网络、说话人表征层和Sigmoid输出模块，其中，空洞循环卷积子网络有两个分支，每个分支包括两个空洞卷积模块连接双向长短时记忆模块，并且这两个分支的所有参数相同、权重和偏置项共享；

S4、训练孪生神经网络，采用训练样本对的对数梅尔能量谱特征作为输入，以二值交叉熵作为损失函数训练孪生神经网络；

S5、说话人匹配，采用经过训练的孪生神经网络判断两个测试短语音是否属于同一个说话人，得到说话人匹配结果。

进一步地，所述步骤S1中构造训练样本对包括样本分集，构造正样本对和构造负样本对，过程如下：

S1.1、样本分集：将每个说话人的语音样本集平均分成两个样本集：正样本集和负样本集；

S1.2、构造正样本对：每个说话人的正样本集中的语音样本两两匹配得到正样本对；

S1.3、构造负样本对：每个说话人的负样本集中的语音样本分别与不同说话人的负样本集的语音样本匹配得到负样本对。

进一步地，所述步骤S2中提取对数梅尔能量谱特征过程如下：