[发明专利]中文文本纠错系统、方法、装置及计算机可读存储介质

权利要求书

1.一种中文文本纠错系统，所述系统基于机器学习模型，其特征在于，所述系统包括：

中文文本预训练模块，用于对中文文本进行预训练，并获取中文文本的困惑度、混淆集、语言模型及语义模型；

中文文本输入模块，对输入的文本进行预处理，删除非常用标点以及长度异常的空格，转换中英文标点以及编码格式；

中文拼写检查模块，用于当中文文本中字符有拼写错误时，自动返回不正确字符的位置；

中文拼写纠正模块，通过中文文本预训练模块以及中文拼写检查模块定位错误字符位置，使用候选词逐一替换字符，通过语言模型计算通顺度结果，选择最优拼写纠正文本输出形成第一纠正文本；

语义纠正模块，通过中文文本预训练模块中的语义模型计算所述第一纠正文本的上下语句中语义通顺度结果，对所述第一纠正文本重新选择候选词逐一替换字符使得上下语句中语义统一，输出多个语义统一后的纠正文本形成第二纠正文本；所述语义纠正模块具体用于：对所述第一纠正文本中的每一个纠错候选词利用语义模型计算该纠错候选词中每一个候选词的得分；将该纠错候选词中每一个词语与相邻词语的得分进行累加，获得该纠错候选词的语义通顺度结果总得分；将所有第一纠正文本中语义通顺度结果总得分从大至小排序，输出最高得分的第一纠正文本作为第二纠正文本；

文法语言评价模块，用以输入所述第二纠正文本并评价所有第二纠正文本中语义总得分，将所有第二纠正文本中语义总得分从大至小排序，输出最高得分的第二纠正文本为最终纠正文本；所述文法语言评价模块具体用于：对所述第二纠正文本中的每一个语句的语义利用语义模型计算该语句中语义的得分；将所述第二纠正文本中每一个语句与相邻语句的出现概率进行乘积，获得该第二纠正文本的语义通顺度结果总得分；将所有第二纠正文本中语义总得分从大至小排序，输出最高得分的第二纠正文本为最终纠正文本。

2.一种中文文本纠错方法，其特征在于，所述中文文本纠错方法包括以下步骤：

S1：进行中文文本预训练，获取中文文本的困惑度、混淆集、语言模型及语义模型；

S2：对输入的文本进行预处理，删除非常用标点以及长度异常的空格，转换中英文标点以及编码格式；

S3：将每个字符或标点作为一个位置，以字符为单位做余下处理，当中文文本中有拼写错误时，系统返回不正确字符的位置；

S4：通过错误检测定位所有疑似错误后，使用候选词逐一替换该字符，基于语言模型得到类候选短文本集的通顺度计算结果，最终选择最优拼写纠正文本输出形成第一纠正文本；

S5：通过中文文本预训练模块中的语义模型计算所述第一纠正文本的上下语句中语义通顺度结果，对所述第一纠正文本重新选择候选词逐一替换字符使得上下语句中语义统一，输出多个语义统一后的纠正文本形成第二纠正文本；所述S5步骤具体包括：S51：对所述第一纠正文本中的每一个纠错候选词利用语义模型计算该纠错候选词中每一个候选词的得分；S52：将该纠错候选词中每一个词语与相邻词语的得分进行累加，获得该纠错候选词的语义通顺度结果总得分；S53：将所有第一纠正文本中语义通顺度结果总得分从大至小排序，输出最高得分的第一纠正文本作为第二纠正文本；

S6：评价所有第二纠正文本中语义总得分，将所有第二纠正文本中语义总得分从大至小排序，输出最高得分的第二纠正文本为最终纠正文本；所述S6步骤具体包括：S61：对所述第二纠正文本中的每一个语句的语义利用语义模型计算该语句中语义的得分；S62：将所述第二纠正文本中每一个语句与相邻语句的出现概率进行乘积，获得该第二纠正文本的语义通顺度结果总得分；S63：将所有第二纠正文本中语义总得分从大至小排序，输出最高得分的第二纠正文本为最终纠正文本。