[发明专利]一种中文文本纠错方法、系统、终端设备及存储介质

说明书

本申请涉及一种中文文本纠错方法、系统、终端设备及存储介质，属于自然语言处理技术领域，其方法包括以下步骤：接收初始文档，对所述初始文档进行预处理，得到待处理文本；基于预设的第一模型对所述待处理文本进行错误标记处理，得到第一文本；基于预设的第二模型对所述第一文本进行初步纠错处理，纠正第一文本中的错误字符，得到第二文本；基于预设的第三模型对所述第二文本进行精调纠错处理，调整所述第二文本的文本长度，得到最终文本。本申请具有通过三阶段的模型对待处理文本分别进行错误字符标注、错误字符纠正以及多字和少字纠正，提升文本纠正精度的效果。

技术领域

本申请涉及自然语言处理的技术领域，尤其是涉及一种中文文本纠错方法、系统、终端设备及存储介质。

背景技术

互联网的文本多种多样，由于现有的OCR、语音识别和人工校验等技术没法达到100%的准确率，需要对识别出来的文本进行后处理，优化识别后的句子，纠正其中产生的错误得到最终的句子。

现有的文本纠错方式分为两种，第一种是基于Seq2Seq（序列到序列模型）的文本纠错，利用的是机器翻译的技术，把源文本翻译成目标文本，源文本和目标文本的长度可以不一致；另一种是基于序列标注的模型，对每个字先进行判断是否是错误，然后再对每个位置进行纠正。

针对上述中的相关技术，基于Seq2Seq的文本纠错方式，在语料不充分的情况下，很容易生成很多错误的文本；基于序列标注的模型对每个位置的字符进行纠正的方式，是在假设源文本和目标文本的长度是一样的前提下进行的，但实际上，错误文本和纠正后的文本的长度并不是等长的。因此，以上两种方式都会导致纠错的精度偏低，需要改进。

发明内容

为了提高文本纠错的精度，本申请提供一种中文文本纠错方法、系统、终端设备及存储介质。

第一方面，本申请提供一种中文文本纠错方法， 采用如下的技术方案：

一种中文文本纠错方法，包括以下步骤：

接收初始文档，对所述初始文档进行预处理，得到待处理文本；

基于预设的第一模型对所述待处理文本进行错误标记处理，得到第一文本；

基于预设的第二模型对所述第一文本进行初步纠错处理，纠正第一文本中的错误字符，得到第二文本；

基于预设的第三模型对所述第二文本进行精调纠错处理，调整所述第二文本的文本长度，得到最终文本。

通过采用上述技术方案，获取初始文档，将初始文档经过预处理之后得到待处理文本，基于预设的第一模型对待处理文本的字符进行标记，输出带有错误字符标记的第一文本，根据预设的第二模型中对第一文本中的错误字符进行纠正，得到第二文本，最后基于预设的第三模型对第二文本中多字少字的错误进行纠正，输出最终文本。本申请通过三阶段的模型对待处理文本分别进行错误字符标注、错误字符纠正以及多字和少字纠正，对待处理文本中的错误纠正更加全面和准确，提升了文本纠错的精度。

可选的，所述对所述初始文档进行预处理，得到待处理文本包括以下步骤：

对所述初始文档进行分句，得到第一文档；

基于预设的字数阈值对所述第一文档中的句子进行处理，得到第二文档；

将所述第二文档中的英文字母进行调整，得到待处理文本。

通过采用上述技术方案，对初始文档进行预处理，能够方便后续的纠错处理，减少初始文档在模型中出错的概率。

可选的，所述基于预设的第一模型对所述待处理文本进行错误筛选处理，得到第一文本包括以下步骤：

根据预设的第一模型构建召回模型；

基于所述召回模型对待处理文本中的错误字符进行标记处理，得到第一文本。

通过采用上述技术方案，对待处理文本中错误字符进行标记，便于后续仅针对错误字符进行纠正。