[发明专利]基于跨语种自训练的多语种模型训练方法

权利要求书

1.一种基于跨语种自训练的多语种模型训练方法，其特征在于，所述方法包括先在某个高资源语种的有标注数据上训练声学音素分类器作为目标网络，然后训练主网络来逼近所述声学音素分类器在多语种上的表征；具体包括：

获取目标网络；

训练主网络；

将训练好的主网络迁移至目标语种自动语音识别模型。

2.根据权利要求1所述的多语种模型训练方法，其特征在于，所述训练主网络包括：

获取目标网络表征，在输入多语种数据时，使用多视角数据增强对数据进行扰动；

获取主网络表征，输入多语种数据时，使用多视角数据增强对数据进行扰动；

模型参数滑动平均。

3.根据权利要求2所述的多语种模型训练方法，其特征在于，所述多视角数据增强对输入的语音特征序列进行随机扰动，使所述目标网络和所述主网络分别接收不同视角下的语音特征序列，以此来增强所述主网络的表征重建能力和上下文建模能力。

4.根据权利要求2所述的多语种模型训练方法，其特征在于，所述模型参数滑动平均在训练的过程中将所述主网络的模型参数以滑动平均的方式加到所述目标网络上去，不断优化所述目标网络的表征，使得训练过程朝着多语种表征能力不断增强的方向进行。

5.根据权利要求2所述的多语种模型训练方法，其特征在于，所述训练方法还包括构建损失函数，以产生训练信号并指导主网络参数更新；接收目标网络和主网络的输出语音表征序列，并计算两个语音表征序列模值归一化之后的欧式距离。

6.根据权利要求1所述的多语种模型训练方法，其特征在于，所述将训练好的主网络迁移至目标语种自动语音识别模型，具体包括：

主网络训练完毕后，单独拿出来去掉MLP非线性预测器之后，作为下游目标语种自动语音识别模型的声学部分，并在其上加上随机初始化的线性分类层。

7.根据权利要求1所述的多语种模型训练方法，其特征在于，所述目标网络和主网络的结构一致，包括级联的卷积结构、Transformer层和MLP非线性预测器。

8.根据权利要求1所述的多语种模型训练方法，其特征在于，所述目标网络是在某个语种上预先训练好的音素分类器，用于产生帧级别的语音表征；所述目标网络的输入是任一语种的语音特征序列，输出是时域降采样后的语音表征序列。

9.根据权利要求1所述的多语种模型训练方法，其特征在于，通过训练所述主网络来优化主网络对于多语种的语音表示能力；所述主网络的输入是任一语种的语音特征序列，输出是时域降采样后的语音表征序列。