[发明专利]基于BPE编码的序列化方法、训练方法、系统及存储介质

说明书

本发明公开了一种基于BPE编码的序列化方法、系统、装置及存储介质，其中方法包括以下步骤：获取中英混合的标注文本，采用基于BPE编码算法生成的字典将所述标注文本中的中文序列分为多个汉字，以及将所述标注文本中的英文序列拆分为多个字母串；将拆分获得的所述汉字和所述字母串作为标注序列，用于对端到端语音识别模型进行训练；所述字母串中包含有标识符，根据所述标识符将所述字母串合并成英文单词。本发明对于文本中的中文采用字级别的拆分，对于英文按照BPE编码所得字典进行拆分，解决中文字和英文单词发音长度不一致的问题，使得英文子串近似于中文发音长度，提升了端到端语音识别模型的性能，可广泛应用于计算机软件技术领域。

技术领域

本发明涉及计算机软件技术领域，尤其涉及一种基于BPE编码的序列化方法、训练方法、系统及存储介质。

背景技术

语音交互技术是一种让人可以通过语音来操控电子设备的人机交互技术，人们可以通过语音来控制电子设备，使操作过程更加自然、方便，可以应用于如智能家居控制、驾驶中操控、智能语音客服等诸多场景，大大改善人们的生活。其中，自动语音识别(Automatic Speech Recognition，ASR)是实现语音交互的第一步。

目前，业内常用语音识别技术主要有基于隐马尔可夫-深度神经网络(HMM-DNN)混合模型的方法，以及端到端的方法。端到端的方法是一类直接使用神经网络来将输入语音转换为文本序列的方法，分为基于CTC(Connectionist Temporal Classification)的方法和基于注意力机制的方法。在基于注意力机制(Attention-based)的方法中，通常包含编码器(Encoder)和解码器(Decoder)，其主要思想是将语音特征序列经过编码器编码为更加高级的表征，然后送入解码器，再结合上一时刻的解码器输出，使用注意力机制将二者整合到一起，最终得到当前时刻的解码输出。通过反复进行解码过程，可以得到整句话的解码结果。

由于神经网络是一种分类器，端到端语音识别模型的输出实际上是类别序号的序列，需要参照字典转换成对应的字符串序列，进而产生文本输出。类似的，在训练模型时，则需要将音频对应的文本标注参照字典转换成类别序号的序列。字典是一种将字符串映射为序号的映射表，这种映射是灵活的，可以对英文字母构建字典，这样字典里就只有26个项，也可以对整个英文单词构建字典，这样字典里就有数万个项。然而，字典的映射关系必须是唯一的，即对于给定的文本，应当只能转换成唯一的字典序号序列，至于不在字典中的单词，可以映射为一个表示“未知词语”的标识符。

在中英混合语音识别中，存在建模粒度的问题。中文的发音特点是一字一音，英文的发音特点是一词多音，因此简单地将中文字和英文词汇入字典中会对模型的性能有一定的影响。现有的方法是，对于英文采用词片模型(Word Piece Model，WPM)进行建模、拆分，然后对于中文，采用字级别的拆分。采用WPM进行拆分后，所得英文词片所含音素少，因而降低建模粒度的大小。综上所述，现有方法存在的问题是：需要反复迭代训练语言模型，然而训练语言模型需要进行大量的计算，十分耗时；合并时所用到的语言模型评分标准与发音规则不一定匹配。

发明内容

为了解决上述技术问题之一，本发明的目的是提供一种基于BPE编码的序列化方法、训练方法、系统及存储介质。

本发明所采用的技术方案是：

一种基于BPE编码的序列化方法，包括以下步骤：

获取中英混合的标注文本，采用基于BPE编码算法生成的字典将所述标注文本中的中文序列分为多个汉字，以及将所述标注文本中的英文序列拆分为多个字母串；

将拆分获得的所述汉字和所述字母串作为标注序列，用于对端到端语音识别模型进行训练；

所述字母串中包含有标识符，根据所述标识符将所述字母串合并成英文单词。

进一步，所述字典通过以下步骤建立获得：