[发明专利]一种基于人工智能的文本纠错方法、装置、计算机设备及存储介质

说明书

本案涉及大数据处理，提供一种基于人工智能的文本纠错方法，包括：获取历史公文数据；对公文文本进行新词发现处理；将新词加入到词典库中；确定出待纠错原文本中的候选错误词；确定出同音词集合；分别将候选错误词对应替换为同音词；选取超过预设的文本通顺度的已纠错文本作为最终的已纠错文本。考虑到公文书场景下特有的术语表达，对公文文本进行新词发现处理，再将新词加入到词典库中，这样能够挖掘公文书场景下的词作为词典库的补充，目标词典库就含有公文场景下特有的术语的新词；再确定待纠错原文本的候选错误词，避免通用的纠错模型将未识别出特定术语而给将正确的内容改错的问题。本发明还涉及区块链技术，目标词典库存储于区块链中。

技术领域

本发明涉及大数据处理，尤其涉及一种基于人工智能的文本纠错方法、装置、计算机设备及存储介质。

背景技术

文本纠错是自然语言处理中的难题之一。文本错误主要有用字错误、替换错误、法错误、用词错误、多字错误和缺字错误等。文本数据中广泛存在音似词替换错误，例如，“短板”被误写为“短班”、“辅助决策”被误写为“扶助决策”等。错词的存在通常直接导致分词错误，而分词错误又使得文本的语义混乱，给文本处理带来困难。文本纠错的应用场景很多，包括输入法纠错、ASR(语音转文字)纠错、公文书写纠错。

目前已有的纠错方法：使用端到端的深度学习方法同时完成错误识别和错误修正步骤，输出修正后的句子结果，但是这种纠错方法对训练数据集的要求较高，需要前期收集较多的错误标注语料才能训练出可用的文本纠错模型。在特殊的场景下，例如，公文书场景下存在很多特定场景的表达术语，使用现成分词工具很容易误分或者无法识别的现象，容易出现由于通用的纠错模型将未识别出特定术语而给将正确的内容改错的问题。

发明内容

本发明提供一种基于人工智能的文本纠错方法、装置、计算机设备及存储介质，以解决文本纠错问题。

一种基于人工智能的文本纠错方法，包括：

获取历史公文数据，其中，所述历史公文数据中包括公文文本；

对所述公文文本进行新词发现处理，得到新词；

将所述新词加入到原词典库中，得到加入所述新词后的目标词典库；

获取待纠错原文本；

根据所述待纠错原文本和所述目标词典库确定所述待纠错原文本中的候选错误词；

根据每个所述候选错误词确定每个所述候选错误词的同音词集合；

分别将所述待纠错原文本的候选错误词替换为所述同音词集合中对应的同音词，得到已纠错文本集合；

从所述已纠错文本集合中选取超过预设的文本通顺度的已纠错文本作为最终的已纠错文本。

一种基于人工智能的文本纠错装置，包括：

第一获取模块，获取历史公文数据，其中，所述历史公文数据中包括公文文本；

新词发现模块，对所述公文文本进行新词发现处理，得到新词；

新词加入模块，将所述新词加入到原词典库中，得到加入所述新词后的目标词典库；

第二获取模块，获取待纠错原文本；

第一确定模块，根据所述待纠错原文本和所述目标词典库确定所述待纠错原文本中的候选错误词；

第二确定模块，根据每个所述候选错误词确定每个所述候选错误词的同音词集合；

替换模块，分别将所述待纠错原文本的候选错误词替换为所述同音词集合中对应的同音词，得到已纠错文本集合；

选取模块，从所述已纠错文本集合中选取超过预设的文本通顺度的已纠错文本作为最终的已纠错文本。