[发明专利]低资源多语言的语音识别模型、语音识别方法

权利要求书

1.一种低资源多语言的语音识别模型，该语音识别模型为端到端的语音识别模型，其特征在于，该模型中子词词表为多语言子词词表，所述多语言子词词表为设定低资源语种的标注文本与设定高资源语种的标注文本合并起来采用BPE算法共同生成多语言的符号词表。

2.根据权利要求1所述的低资源多语言的语音识别模型，其特征在于，所述语音识别模型的训练数据为设定低资源语种的伪标注训练数据和设定高资源语种的训练数据的合并数据；

所述设定低资源语种的伪标注训练数据，其获取方法为：

步骤A100，获取基于低资源语种的标注数据训练得到的GMM-HMM语音识别模型，然后基于该训练好的GMM-HMM语音识别模型对所述低资源语种的标注数据进行强制对齐，通过对齐信息找到每个子词对应的语音特征序列片段，获取该低资源语种的子词-语音特征序列片段映射关系；

步骤A200，对待标注的低资源语种的文本数据，通过步骤A100得到的所述子词-语音特征序列片段映射关系，获得所述待标注的低资源语种的文本数据中各子词对应的发音序列片段，采用拼接方式得到所述待标注的低资源语种的文本数据的语音特征序列；

步骤A300，将步骤A200中所述待标注的低资源语种的文本数据及对应的语音特征序列作为伪标注训练数据。

3.根据权利要求1或2所述的低资源多语言的语音识别模型，其特征在于，所述多语言子词词表通过BPE算法生成，其生成方法为：

步骤B100，对多种语言的标注文本合集，采用字的词表对符号词表进行初始化，并且每个词采用一组带有特殊结束符的字序列来表示；

步骤B200，对每个相邻符号对进行频次统计，将最高频次的符号对合并起来用新的符号代替，迭代执行该步骤直至达到预设的合并次数为止；

步骤B300，将步骤B200中每次合并产生的新字符对应的原始字符作为子词增入所述符号词表，得到所述多语言子词词表。

4.根据权利要求1或2所述的低资源多语言的语音识别模型，其特征在于，所述语音识别模型包括Multi-CNN-Transformer模型、Multi-CNN-Transformer-B模型、Multi-CNN-Transformer-E模型、Multi-CNN-Transformer-E2模型中的一种或多种。

5.根据权利要求4所述的低资源多语言的语音识别模型，其特征在于，当所述语音识别模型包括Multi-CNN-Transformer模型、Multi-CNN-Transformer-B模型、Multi-CNN-Transformer-E模型、Multi-CNN-Transformer-E2模型时，根据待识别数据和训练样本进行模型的选择：

所述语音识别模型的训练样本和待识别数据中语种信息均未知时，采用Multi-CNN-Transformer模型；

所述语音识别模型的训练样本语种信息已知、待识别数据语种信息未知时，采用Multi-CNN-Transformer-B模型，或者Multi-CNN-Transformer-E模型；

所述语音识别模型的训练样本和待识别数据中语种信息均已知时，采用Multi-CNN-Transformer-E2模型。

6.一种低资源多语言的语音识别方法，其特征在于，该方法包括以下步骤：

步骤C100，对输入语音进行静音切除，获取语音片段序列；

步骤C200，对语音片段序列进行特征提取，获取设定特征维度的初始特征向量；

步骤C300，对所述初始特征向量进行拼帧跳帧预处理，作为语音识别模型的输入特征向量；

步骤C400，通过所述语音识别模型，识别所述输入特征向量对应的文本信息；

其中，

所述语音识别模型为权利要求1-5中任一项所述的低资源多语言的语音识别模型。

7.根据权利要求6所述的低资源多语言的语音识别方法，其特征在于，步骤C300中拼帧跳帧预处理为拼三帧跳三帧的预处理。