[发明专利]中文文本纠错系统、方法、装置及计算机可读存储介质

说明书

本发明涉及一种基于机器学习模型的中文文本纠错系统、方法、装置及计算机可读存储介质。所述系统包括中文文本预训练模块、中文文本输入模块、中文拼写检查模块、中文拼写纠正模块、语义纠正模块以及文法语言评价模块。中文文本纠错方法能够注重上下语句的连贯性，避免出现单一词组是正确的但同音的词组选择会出现偏差的情况，使得整句中多个词组连接在一起时语义通顺而不出现偏差。

技术领域

本发明涉及计算机文字处理技术领域，尤其涉及一种基于机器学习模型的中文文本纠错系统、方法、装置及计算机可读存储介质。

背景技术

中文作为现在世界上使用人数最多的语言在机器学习领域的发展尚存在非常多的局限性，由于中文的字音字形语法顺序等都较为复杂，所以不论是在人工输入或者机器识别领域，中文的拼写检查与纠错都有非常大的需求量。

专利CN 111639489 A通过机器学习的多种方法检查以及修正中文文本中出现的多种错误，将不通顺的文本修正为通顺的、适合阅读的中文文本；通过困惑度查询到错误字符发生的位置，再利用混淆集以及语言模型打分的方式选择正确的修改方式对错误字符进行替换，最终返回正确的中文语言表述。虽然这一方法能够采用多线程处理，可以多个文本句子同时并发，纠正处理效率高，并通过机器学习的多种方法检查以及修正中文文本中出现的多种错误，将不通顺的文本修正为通顺的、适合阅读的中文文本，通过困惑度查询到错误字符发生的位置，再利用混淆集以及语言模型的方式选择正确的修改方式对错误字符进行替换，最终返回正确的中文语言表述。但是，这种方式容易忽略上下语句的连贯性，导致单一词组是正确的，但同音的词组选择会出现偏差，整句中多个词组连接在一起时会出现纠正错误的问题而导致语义偏差。而且还存在同一文本中的前后纠正相似词组给出不同的纠正方式，导致上下文之间出现纠正错误的问题而导致语义偏差。

发明内容

有鉴于此，本发明提供一种基于机器学习模型的中文文本纠错系统、方法、装置及计算机可读存储介质，以解决现有的快递行业中存在消费者填写信息不完整或不标准造成派送错误带来时间延迟、送件效率低以及经济损失的技术问题。

为解决上述问题，本发明提供一种中文文本纠错系统，所述系统基于机器学习模型，所述系统包括：中文文本预训练模块，用于对中文文本进行预训练，并获取中文文本的困惑度、混淆集、语言模型及语义模型；中文文本输入模块，对输入的文本进行预处理，删除非常用标点以及长度异常的空格，转换中英文标点以及编码格式；中文拼写检查模块，用于当中文文本中字符有拼写错误时，自动返回不正确字符的位置；中文拼写纠正模块，通过中文文本预训练模块以及中文拼写检查模块定位错误字符位置，使用候选词逐一替换字符，通过语言模型计算通顺度结果，选择最优拼写纠正文本输出形成第一纠正文本；语义纠正模块，通过中文文本预训练模块中的语义模型计算所述第一纠正文本的上下语句中语义通顺度结果，对所述第一纠正文本重新选择候选词逐一替换字符使得上下语句中语义统一，输出多个语义统一后的纠正文本形成第二纠正文本；文法语言评价模块，用以输入所述第二纠正文本并评价所有第二纠正文本中语义总得分，将所有第二纠正文本中语义总得分从大至小排序，输出最高得分的第二纠正文本为最终纠正文本。

一种中文文本纠错方法，包括上述中文文本纠错系统，所述中文文本纠错方法包括以下步骤：S1：进行中文文本预训练，获取中文文本的困惑度、混淆集、语言模型及语义模型；S2：对输入的文本进行预处理，删除非常用标点以及长度异常的空格，转换中英文标点以及编码格式；S3：将每个字符或标点作为一个位置，以字符为单位做余下处理，当中文文本中有拼写错误时，系统返回不正确字符的位置；S4：通过错误检测定位所有疑似错误后，使用候选词逐一替换该字符，基于语言模型得到类候选短文本集的通顺度计算结果，最终选择最优拼写纠正文本输出形成第一纠正文本；S5：通过中文文本预训练模块中的语义模型计算所述第一纠正文本的上下语句中语义通顺度结果，对所述第一纠正文本重新选择候选词逐一替换字符使得上下语句中语义统一，输出多个语义统一后的纠正文本形成第二纠正文本；S6：评价所有第二纠正文本中语义总得分，将所有第二纠正文本中语义总得分从大至小排序，输出最高得分的第二纠正文本为最终纠正文本。