[发明专利]一种文本矫正的方法和装置

说明书

【技术领域】

本发明涉及计算机技术领域，特别涉及一种文本矫正的方法和装置。

【背景技术】

随着社会的发展，科技的进步，国际学术交流越来越频繁。在各国之间进行学术文献的非母语交流时，尤其对于经验不足的人来说，表达是否地道，词语搭配是否恰当是常常被困扰的问题。例如，想用英文表达“绿色食品”，对于母语是汉语的人来说，很可能表达成“green food”，但实际上，地道的说法应该是“organic food”，可以看出，高质量的学术论文，离不开地道的语言表达方式。

目前已经存在对文本进行查错的技术，但这种差错通常只能查出拼写错误或者语法错误，而不能对文本中不地道的表达或者不恰当的词语搭配进行矫正。

【发明内容】

本发明提供了一种文本矫正的方法和装置，以便于实现对文本中不地道的表达或者不恰当的词语搭配进行矫正。

具体技术方案如下：

一种文本矫正的方法，该方法包括：

S1、获取待矫正文本；

S2、利用预设的标准文本库查找所述待矫正文本的相似文本；

S3、将所述相似文本与待矫正文本进行比较，确定差异词对，其中所述差异词对中待矫正文本中的差异词为原始词，相似文本中的差异词为所述原始词对应的候选词；

S4、利用候选词分别对所述待矫正文本中对应的原始词进行替换构成M1个候选文本，M1为正整数；

S5、分别针对所述候选文本和所述待矫正文本计算文本流利度，选出流利度最高的M2个文本，M2为小于或等于M1+1的正整数；

S6、分别计算所述M2个文本的搭配概率，选出搭配概率排在前M3个的文本作为矫正后的文本，M3为小于或等于M2的正整数，其中文本的搭配概率由文本中对象词与其他各词语在所述标准文本库中的搭配概率确定，所述对象词为文本中的原始词或候选词。

其中，所述步骤S2具体包括：计算所述待矫正文本与所述标准文本库中文本的相似度，确定相似度满足预设相似度阈值的文本作为所述待矫正文本的相似文本。

计算所述待矫正文本与所述标准文本库中文本的相似度具体包括：

计算所述待矫正文本与所述标准文本库中文本之间的编辑距离，利用所述编辑距离确定相似度；或者，

利用所述待矫正文本与所述标准文本库中文本的差异词特征向量之间的距离，计算所述待矫正文本与所述标准文本库中文本之间的相似距离，利用所述相似距离确定相似度。

更进一步地，在所述步骤S3中确定出差异词对之后，还包括：

判断所述差异词对是否为同义词对，将不是同义词对的差异词对删除。

具体地，判断所述差异词对是否为同义词对包括：

判断所述差异词对中的两个差异词是否在预设的同义词典中以同义词对的形式出现，如果是，则确定所述差异词对为同义词对；或者，

判断所述差异词对中的两个差异词是否在预设的翻译词典中具有相同的译文，如果是，则确定所述差异词对为同义词对。

在所述步骤S5中，文本流利度由文本中对象词在大规模语料库中的出现概率以及对象词与上下文在所述标准文本库或大规模语料库中的共现概率确定。

具体地，在所述S6中，所述文本的搭配概率为文本中各对象词与其他各词语在所述标准文本库中的搭配概率之和。

优选地，该方法还包括：将所述矫正后的文本在弹出的文本框中显示，且将所述待矫正文本中对应的原始词进行突出显示，将矫正后文本中的候选词进行突出显示。

较优地，在所述步骤S6之后还包括：

S7、分别计算所述矫正后文本中候选词的评分以及所述待矫正文本中对应原始词的评分，其中词语在文本中的评分由该词语与上下文在所述标准文本库中的共现概率和/或该词语与文本中其他词语在所述标准文本库中的搭配概率确定；

S8、根据所述矫正后文本中候选词的评分与所述待矫正文本中对应原始词的评分差异，为矫正后文本中候选词的置信度进行打分。

较优地，将所述矫正后文本中候选词的置信度的打分状况在弹出的文本框中显示。

更进一步地，该方法还包括：

在所述矫正后文本中确定与候选词的搭配概率最大的词语，以确定的该词语和候选词的组合作为查询词在所述标准文本库中进行查询，确定包含所述组合的例句在弹出的文本框中显示。

一种文本矫正的装置，该装置包括：

输入单元，用于获取待矫正文本；

相似文本确定单元，用于利用预设的标准文本库查找所述待矫正文本的相似文本；