[发明专利]一种基于人工智能的文本纠错方法、装置、计算机设备及存储介质

权利要求书

1.一种基于人工智能的文本纠错方法，其特征在于，包括：

获取历史公文数据，其中，所述历史公文数据中包括公文文本；

对所述公文文本进行新词发现处理，得到新词；

将所述新词加入到原词典库中，得到加入所述新词后的目标词典库；

获取待纠错原文本；

根据所述待纠错原文本和所述目标词典库确定所述待纠错原文本中的候选错误词；

根据每个所述候选错误词确定每个所述候选错误词的同音词集合；

分别将所述待纠错原文本的候选错误词替换为所述同音词集合中对应的同音词，得到已纠错文本集合；

从所述已纠错文本集合中选取超过预设的文本通顺度的已纠错文本作为最终的已纠错文本。

2.如权利要求1所述的基于人工智能的文本纠错方法，其特征在于，所述对所述公文文本进行新词发现处理，得到新词，包括：

按顺序依次对所述公文文本的字符拆成多元组，将得到的多元组作为候选词组集合；

采用分词工具包对所述公文文本进行分词，得到所述公文文本对应的分词集合；

从所述候选词组集合中删除所述公文文本对应的分词集合，得到目标候选词组集合；

针对所述目标候选词组集合的词组，根据各所述词组中每个词出现的概率计算，得到目标候选词组集合中每个词组对应的分值；

对所述目标候选词组集合中每个词组对应的分值进行排序，得到排序结果；

根据所述排序结果和预设阈值对目标候选词组集合中的词组进行筛选，得到新词。

3.如权利要求2所述的基于人工智能的文本纠错方法，其特征在于，所述针对所述目标候选词组集合的词组，根据各所述词组中每个词出现的概率计算，得到目标候选词组集合中每个词组对应的分值，包括：

按顺序依次将所述目标候选词组集合的词组拆成第一字符和第二字符；

获取所述第一字符出现的概率、所述第二字符出现的概率以及所述词组出现的概率；

获取所述词组的左侧的信息熵以及所述词组的右侧的信息熵；

针对所述目标候选词组集合中的每个词组，分别根据每个词组对应的所述第一字符出现的概率、所述第二字符出现的概率、所述词组出现的概率、所述词组左侧的信息熵以及所述词组右侧的信息熵，得到每个词组对应的分值。

4.如权利要求3所述的基于人工智能的文本纠错方法，其特征在于，当所述目标候选词组集合中的词组为二元组时，所述按顺序依次将所述目标候选词组集合的词组拆成第一字符和第二字符，包括：

按顺序依次将所述二元组拆分成第一字符和第二字符，其中，所述第一字符和所述第二字符均为单字符；

所述针对所述目标候选词组集合中的每个词组，分别根据每个词组对应的所述第一字符出现的概率、所述第二字符出现的概率、所述词组出现的概率、所述词组左侧的信息熵以及所述词组右侧的信息熵，得到每个词组对应的分值，包括：

采用如下分值计算公式得到每个词组对应的分值；

其中，p(x,y)为第一字符x和第二字符y共同出现的概率，p(x)为第一字符x出现的概率，p(y)为第二字符y出现的概率，LE为词组左侧的信息熵，RE为词组右侧的信息熵。

5.如权利要求3所述的基于人工智能的文本纠错方法，其特征在于，当所述目标候选词组集合中的词组为三元组时，所述按顺序依次将所述目标候选词组集合的词组拆成第一字符和第二字符，包括：

按顺序依次将所述三元组拆分成第一字符和第二字符，其中，所述第一字符为双字符，所述第二字符均为单字符；

所述针对所述目标候选词组集合中的每个词组，分别根据每个词组对应的所述第一字符出现的概率、所述第二字符出现的概率、所述词组出现的概率、所述词组左侧的信息熵以及所述词组右侧的信息熵，得到每个词组对应的分值，包括：

采用如下分值计算公式得到每个词组对应的分值；

其中，p(x,y)为第一字符x和第二字符y共同出现的概率，p(x)为第一字符x出现的概率，p(y)为第二字符y出现的概率，LE为词组左侧的信息熵，RE为词组右侧的信息熵。