[发明专利]一种基于重参数化的解耦方式的音频特征提取方法及装置

说明书

本申请公开了一种基于重参数化的解耦方式的音频特征提取方法及装置，包括：获取目标说话人的待测语音样本；将待测语音样本进行预处理；提取预处理后的待测语音样本的声学特征；将声学特征输入到网络推理模块中得到声纹特征向量，网络推理模块是由训练好的多层网络训练模块经过重参数化转换成的单路结构的网络模型。本申请在训练阶段，使用多分支结构，以达到更好的收敛效果，在推理阶段，重参数化为单路结构，以获得比参数量相当的多分支结构更好的效果，并且能使速度更快，消耗内存更低。

技术领域

本申请涉及声纹特征提取技术领域，尤其涉及一种基于重参数化的解耦方式的音频特征提取方法及装置。

背景技术

现有的高性能网络结构包括多分支结构和性能优异的网络组件。其中多分支结构较之前的单路结构，性能可以得到极大提升。像GoogleNet，Inception等，都属于多路结构。而性能优异的网络组件，包括深度可分离卷积，分组卷积等等，这些都可以显著增加网络性能。然而多分支结构和性能优异的组件虽然能显著提高模型性能，但是又会最终导致模型在推理时速度变慢且耗内存，这非常不利于工业场景，尤其是在算力受限的情况下。

近年来也有很多在单路网络上的尝试。这些尝试的核心都在于训练更深的网络，但是并没有很好的成果，性能上普遍不如多分支结构，得到的模型往往既不简单也不实用。

发明内容

本申请提供了一种基于重参数化的解耦方式的音频特征提取方法及装置，使得在训练阶段，使用多分支结构，以达到更好的收敛效果，在推理阶段，重参数化为单路结构，以获得比参数量相当的多分支结构更好的效果，并且能使速度更快，消耗内存更低。

有鉴于此，本申请第一方面提供了一种基于重参数化的解耦方式的音频特征提取方法，所述方法包括：

获取目标说话人的待测语音样本；

将所述待测语音样本进行预处理；

提取预处理后的所述待测语音样本的声学特征；

将所述声学特征输入到网络推理模块中得到声纹特征向量，所述网络推理模块是由训练好的多层网络训练模块经过重参数化转换成的单路结构的网络模型。

可选的，在所述将所述声学特征输入到所述网络推理模块中得到声纹特征向量，之前还包括：

采集大量目标说话人的语音样本作为训练语音样本；

将所述训练语音样本进行预处理；

提取预处理后的所述训练语音样本的声学特征；

将所述声学特征输入到所述网络训练模块中，得到训练好的所述网络训练模块，所述网络训练模块包括多个并行的第一3x3卷积层，第一1x1卷积层以及直连层。

可选的，所述网络推理模块是由训练好的多层网络训练模块经过重参数化转换成的单路结构的网络模型，具体为：

将训练好的所述网络训练模块中的所述第一3x3卷积层与BN层单元进行合并，得到第二3x3卷积层；

将训练好的所述训练网络模块中的所述第一1x1卷积层与BN层单元进行合并，得到第二1x1卷积层；

将训练好的所述训练网络模块中的所述直连层与BN层单元进行合并，得到第三1x1卷积层；

将所述第二1x1卷积层扩展为第三3x3卷积层；

将所述第三1x1卷积层扩展为第四3x3卷积层；

依据卷积的可加性原理，将所述第二3x3卷积层，所述第三3x3卷积层，以及所述第四3x3卷积层进行相加，得到所述网络推理模块中的第五3x3卷积层。

可选的，所述将所述待测语音样本进行预处理，包括：