[发明专利]文本正则化模型训练方法和装置、文本正则化方法和装置

权利要求书

1.一种文本正则化模型训练方法，其特征在于，所述方法包括：

将输入文本对应的输入字符序列中的输入字符依次输入待生成的文本正则化模型对应的循环神经网络中；

基于所述循环神经网络对各所述输入字符进行分类，得到所述输入字符序列的预测分类结果；

根据所述输入字符序列的预测分类结果与所述输入文本的正则化文本的标注分类结果之间的差异，对所述循环神经网络的参数进行调整；

其中，所述输入文本对应的输入字符序列是按照如下方式生成的：

按照第一预设粒度对所述输入文本进行分割得到第一分割结果；

将所述第一分割结果中的具有至少两种正则化结果的非汉字字符进行标签化处理，得到所述输入字符序列。

2.根据权利要求1所述的方法，其特征在于，所述第一分割结果中的具有至少两种正则化结果的非汉字字符包括以下至少一项：具有至少两种正则化结果的符号字符、具有至少两种正则化结果的连续数字字符、具有至少两种正则化结果的字母字符；

所述第一分割结果中的具有至少两种正则化结果的非汉字字符是按照如下方式进行标签化处理的：

将所述第一分割结果中的具有至少两种正则化结果的符号字符替换为所述符号字符的读音类型标签，将所述第一分割结果中的具有至少两种正则化结果的连续数字字符替换为与所述连续数字字符的语义类型对应且包含所述连续数字字符的长度信息的标签，将所述第一分割结果中具有至少两种正则化结果的字母字符替换为与所述字母字符的语义类型对应的标签。

3.根据权利要求1所述的方法，其特征在于，所述输入字符序列的预测分类结果包括所述输入字符序列中各所述输入字符的预测类别信息；

所述输入文本的正则化文本的标注分类结果包括与所述输入文本的正则化文本对应的目标字符序列中各目标字符的已标注类别信息。

4.根据权利要求3所述的方法，其特征在于，所述输入文本的正则化文本的标注分类结果按照如下方式生成：

将所述输入文本的正则化文本按照第二预设粒度进行分割，得到第二分割结果，所述第二分割结果包括以下至少一项：与所述输入文本中的单个汉字字符对应的单个汉字字符、与所述输入文本中的连续数字字符对应的第一汉字字符串、与所述输入文本中的符号字符对应的第二汉字字符串或符号字符、以及与所述输入文本中的字母字符对应的第三汉字字符串或字母字符；

将所述第二分割结果中的与所述输入文本中的单个汉字字符对应的单个汉字字符、与所述输入文本中的符号字符对应的符号字符、以及与所述输入文本中的字母字符对应的字母字符替换为第一预设类别标识；

将所述第二分割结果中的与所述输入文本中的连续数字字符对应的第一汉字字符串替换为用于标识所述输入文本中对应的连续数字字符的语义类型的第一语义类别标识；

将所述第二分割结果中的与所述输入文本中的符号字符对应的第二汉字字符串替换为用于标识所述输入文本中对应的符号字符的语义类型的第二语义类别标识；

将与所述输入文本中的字母字符对应的第三汉字字符串替换为用于标识所述输入文本中对应的字母字符的语义类型的第三语义类别标识。

5.一种文本正则化方法，其特征在于，所述方法包括：

获取已按照第一预设粒度对待处理文本进行分割，并将分割结果中的具有至少两种正则化结果的非汉字字符进行标签化处理得到的待处理字符序列；

将所述待处理字符序列输入已训练的文本正则化模型，得到输出类别标识序列；

基于所述待处理字符序列对所述输出类别标识序列中的输出类别标识进行转换，得到各所述输出类别标识对应的输出字符，并按顺序组合各所述输出字符，得到所述待处理文本的正则化文本；

其中，所述文本正则化模型基于如权利要求1-4任一项所述的方法训练。