[发明专利]一种文本检错方法及装置

说明书

本申请实施例提供了一种文本检错方法及装置，其中，首先利用存储有正确文本的语料库初步筛选待检测文本中的疑似错误字符和疑似错误词汇，之后再从疑似错误字符所属的词汇中筛选出准确度更高的目标疑似词，最后，利用基于每个目标疑似词汇出现在待检测文本的当前位置的概率，从目标疑似词汇中进行筛选，得到最终的目标错误字符。本申请实施例对初步筛选得到疑似错误字符和疑似错误词汇，进一步进行了取交集和概率筛选的处理，有效提高文本检错的准确度。同时，本申请实施例的文本检错方法及装置通过对语料库的扩充或更新，能够检测各种类型的待检测文本，适应性强。

技术领域

本申请涉及文本处理技术领域，尤其是涉及一种文本检错方法及装置。

背景技术

随着科技的发展，在智能服务的场景中需要对用户或客服的对话文本进行语义理解和意图分类等操作，继而根据得到的语义或意图执行对应的操作。当前，通过人工手写、利用输入法输入或利用语音辨识得到的文本中不可避免的存在错别字符，这些错别字符对上述语义理解和意图分类带来很大的困难，严重影响了后续语义理解或意图分类的准确度，继而造成智能服务的服务质量受损。

现有技术中存在一些对文本进行检错的方法，但是这些检错方法存在检错精确度低或适用性差的缺陷，例如有些文本检错方法只适用于某些文本，对其他文本的检错精度很低。

发明内容

有鉴于此，本申请的目的在于提供一种文本检错方法和装置，以提高文本的检错精确度和适应性。

第一方面，本申请实施例提供了一种文本检错方法，包括：

基于存储有正确文本的语料库，从待检测文本中筛选疑似错误词汇和疑似错误字符；

从所述待检测文本中获取每个所述疑似错误字符所属的词汇，并从所述疑似错误字符所属的词汇中筛选属于所述疑似错误词汇的词汇，得到目标疑似词汇；

基于每个目标疑似词汇出现在所述待检测文本的当前位置的概率，从所述目标疑似词汇中筛选目标错误字符。

结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，其中，所述从所述目标疑似词汇中筛选目标错误字符,包括：

基于每个目标疑似词汇出现在所述待检测文本的当前位置的概率，从所述目标疑似词汇中筛选目标错误词汇；

从所述目标错误词汇的所有字符中，筛选属于所述疑似错误字符的字符，得到所述目标错误字符。

结合第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第二种可能的实施方式，其中，所述从所述目标疑似词汇中筛选目标错误词汇，包括：

确定每个目标疑似词汇出现在所述待检测文本的当前位置的概率，得到每个目标疑似词汇的第一概率；

筛选第一概率小于第一预定值的目标疑似词汇，得到所述目标错误词汇。

结合第一方面的第二种可能的实施方式，本申请实施例提供了第一方面的第三种可能的实施方式，其中，确定所述第一概率包括：

获取所述目标疑似词汇在所述待检测文本中的前一个词汇，得到第一词汇；

获取所述目标疑似词汇在所述待检测文本中的后一个词汇，得到第二词汇；

根据所述语料库中每两个词汇共同出现的概率，确定所述目标疑似词汇、所述第一词汇以及所述第二词汇共同出现的概率，得到所述第一概率。

结合第一方面的第三种可能的实施方式，本申请实施例提供了第一方面的第四种可能的实施方式，其中，所述语料库中每两个词汇共同出现的概率具体为，其中一个词汇出现在另外一个词汇的后面的概率；

确定所述第一概率包括，