[发明专利]基于BPE编码的序列化方法、训练方法、系统及存储介质

权利要求书

1.一种基于BPE编码的序列化方法，其特征在于，包括以下步骤：

获取中英混合的标注文本，采用基于BPE编码算法生成的字典将所述标注文本中的中文序列分为多个汉字，以及将所述标注文本中的英文序列拆分为多个字母串；

将拆分获得的所述汉字和所述字母串作为标注序列，用于对端到端语音识别模型进行训练；

所述字母串中包含有标识符，根据所述标识符将所述字母串合并成英文单词。

2.根据权利要求1所述的一种基于BPE编码的序列化方法，其特征在于，所述字典通过以下步骤建立获得：

从语料库中获取多个英文单词，将所有的所述英文单词拆分成不同组合的字符串碎片；

根据BPE编码算分对所述字符串碎片进行统计，获得所述字符串碎片的出现频率；

根据所述出现频率将所述英文单词转换为若干个字符串碎片，将所述字符串碎片存入所述字典。

3.根据权利要求2所述的一种基于BPE编码的序列化方法，其特征在于，还包括以下步骤：

获取音频信息，将所述输入训练好的所述端到端语音识别模型中，获得输出序列；

根据所述字典对所述输出序列进行反序列化，获得输出文本。

4.一种基于BPE编码的序列化系统，其特征在于，包括：

序列拆分模块，用于获取中英混合的标注文本，采用基于BPE编码算法生成的字典将所述标注文本中的中文序列分为多个汉字，以及将所述标注文本中的英文序列拆分为多个字母串；

标注序列模块，用于将拆分获得的所述汉字和所述字母串作为标注序列，用于对端到端语音识别模型进行训练；

所述字母串中包含有标识符，根据所述标识符将所述字母串合并成英文单词。

5.根据权利要求4所述的一种基于BPE编码的序列化系统，其特征在于，所述序列化系统还包括字典建立模块，所述字典建立模块包括：

单词拆分单元，用于从语料库中获取多个英文单词，将所有的所述英文单词拆分成不同组合的字符串碎片；

频率统计单元，用于根据BPE编码算分对所述字符串碎片进行统计，获得所述字符串碎片的出现频率；

单词拼组单元，用于根据所述出现频率将所述英文单词转换为若干个字符串碎片，将所述字符串碎片存入所述字典。

6.根据权利要求5所述的一种基于BPE编码的序列化系统，其特征在于，所述序列化系统还包括反序列化模块，所述反序列化模块用于：

获取音频信息，将所述输入训练好的所述端到端语音识别模型中，获得输出序列；

根据所述字典对所述输出序列进行反序列化，获得输出文本。

7.一种基于BPE编码的序列化系统，其特征在于，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-3任一项所述的一种基于BPE编码的序列化方法。

8.一种存储介质，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于执行如权利要求1-3任一项所述方法。

9.一种端到端语音识别模型的训练方法，其特征在于，包括：

获取训练样本，所述训练样本包括标注文本和语音音频；

采用权利要求1-3任一项所述一种基于BPE编码的序列化方法对所述标注文本进行序列化，获得标注序列；

根据所述标注序列和所述语音音频对神经网络进行训练后，获得端到端语音识别模型。

10.一种端到端语音识别模型的训练系统，其特征在于，包括：

训练集获取模块，用于获取训练样本，所述训练样本包括标注文本和语音音频；

文本序列化模块，用于采用权利要求1-3任一项所述一种基于BPE编码的序列化方法对所述标注文本进行序列化，获得标注序列；

训练模块，用于根据所述标注序列和所述语音音频对神经网络进行训练后，获得端到端语音识别模型。