[发明专利]一种文本规整方法、装置、设备及可读存储介质

权利要求书

1.一种文本规整方法，其特征在于，包括：

获取待规整文本；

将所述待规整文本的文本内容处理成多个文本单元，获得预处理文本，其中，所述预处理文本中的一个文本单元为一个词或字；

基于所述预处理文本中每个文本单元对应的规整类别信息，对所述待规整文本中的待规整文本单元进行规整，获得规整后的文本；

所述基于所述预处理文本中每个文本单元对应的规整类别信息，对所述待规整文本中的待规整文本单元进行规整，获得规整后的文本，包括：

获取所述预处理文本中每个文本单元对应的规整特征；

基于所述预处理文本中每个文本单元对应的规整特征，通过预先建立的两级规整模型中的第一级规整模型，确定所述每个文本单元对应的规整类别信息；

基于所述每个文本单元对应的规整类别信息，通过所述两级规整模型中的第二级规整模型，对所述待规整文本中的待规整文本单元进行规整，获得所述规整后的文本。

2.根据权利要求1所述的文本规整方法，其特征在于，所述将所述待规整文本的文本内容处理成多个文本单元，包括：

对所述待规整文本的文本内容进行分词，获得多个词；

将所述多个词中包含数字的词拆分为单字。

3.根据权利要求1所述的文本规整方法，其特征在于，所述两级规整模型中的第一级规整模型基于标注有规整类别标签的训练文本训练得到；

所述规整类别标签基于标注所采用的标签体系和预先定义的规整类别确定。

4.根据权利要求1所述的文本规整方法，其特征在于，所述基于所述预处理文本中每个文本单元对应的规整特征，通过预先建立的两级规整模型中的第一级规整模型，确定所述每个文本单元对应的规整类别信息，包括：

将所述预处理文本中每个文本单元对应的规整特征与对应的词向量进行拼接，将拼接后得到的向量输入所述两级规整模型中的第一级规整模型，获得所述第一级规整模型输出的、所述预处理文本中每个文本单元对应的规整类别信息。

5.根据权利要1所述的文本规整方法，其特征在于，所述基于所述每个文本单元对应的规整类别信息，通过所述两级规整模型中的第二级规整模型，对所述待规整文本中的待规整文本单元进行规整，获得所述规整后的文本，包括：

将所述预处理文本中每个文本单元对应的规整类别信息与对应的规整特征和对应的词向量进行拼接，将拼接后得到的向量输入所述两级规整模型中的第二级规整模型，获得所述第二级规整模型输出的、所述规整后的文本。

6.根据权利要求1所述的文本规整方法，其特征在于，所述获取所述预处理文本中每个文本单元对应的规整特征，包括：

针对所述预处理文本中的每个文本单元，提取第一特征、第二特征、第三特征和第四特征中任意一种特征或多种特征作为该文本单元对应的规整特征，以得到所述预处理文本中的每个文本单元对应的规整特征；

其中，一个文本单元对应的第一特征用于表征该文本单元是否可能需要规整，一个文本单元对应的第二特征用于表征该文本单元是否可能含数字但无需规整，一个文本单元对应的第三特征用于表征该文本单元所属的规整类别，一个文本单元对应的第四特征用于表征该文本单元所代表的数字是否能被万整除。

7.根据权利要求3所述的文本规整方法，其特征在于，所述预先定义的规整类别包括以下类别中的一种或多种：自然数、数字及符号映射、时间格式、含数字无需规整。