[发明专利]一种文本检错方法及装置

说明书

本申请实施例提供了一种文本检错方法及装置，其中，首先基于待检测文本所属领域，获取与该领域匹配的存储有正确文本的语料库，之后利用获取的语料库初步筛选待检测文本中的疑似错误字符和疑似错误词汇，之后再基于疑似错误词汇和疑似错误字符筛选出准确度更高的目标疑似错误词汇，最后，利用基于每个目标疑似错误词汇出现在待检测文本的当前位置的概率，从目标疑似错误词汇中进行筛选，得到最终的目标错误字符。本申请实施例利用与待检测文本所属领域匹配的语料库进行文本检错，能够有效提高文本检错的精度。并且，本申请实施例对初步筛选得到疑似错误字符和疑似错误词汇，进一步进行了取交集和概率筛选的处理，能够有效提高文本检错的准确度。

技术领域

本申请涉及文本处理技术领域，尤其是涉及一种文本检错方法及装置。

背景技术

随着科技的发展，在智能服务的场景中需要对用户或客服的对话文本进行语义理解和意图分类等操作，继而根据得到的语义或意图执行对应的操作。当前，通过人工手写、利用输入法输入或利用语音辨识得到的文本中不可避免的存在错别字符，这些错别字符对上述语义理解和意图分类带来很大的困难，严重影响了后续语义理解或意图分类的准确度，继而造成智能服务的服务质量受损。

现有技术中存在一些对文本进行检错的方法，但是这些检错方法存在检错精确度低或适用性差的缺陷，例如有些文本检错方法只适用于某些文本，对其他文本的检错精度很低。

发明内容

有鉴于此，本申请的目的在于提供一种文本检错方法和装置，以提高文本的检错精确度和适应性。

第一方面，本申请实施例提供了一种文本检错方法，包括：

基于待检测文本所属领域，获取与该领域匹配的存储有正确文本的语料库；

基于所述存储有正确文本的语料库，从待检测文本中筛选疑似错误语料；所述疑似错误语料包括疑似错误词汇和疑似错误字符；

基于所述疑似错误词汇和疑似错误字符，确定目标疑似错误词汇；

基于每个目标疑似错误词汇出现在所述待检测文本的当前位置的概率，从所述目标疑似错误词汇中筛选目标错误字符。

在一种可能的实施方式中，所述基于所述疑似错误词汇和疑似错误字符，确定目标疑似错误词汇，包括：

从所述待检测文本中获取每个所述疑似错误字符所属的词汇，并从所述疑似错误字符所属的词汇中筛选属于所述疑似错误词汇的词汇，得到目标疑似错误词汇。

在一种可能的实施方式中，所述基于待检测文本所属领域，获取与该领域匹配的存储有正确文本的语料库，包括：

获取所述待检测文本的生成时间以及多个待选语料库的最新更新时间；

确定所述待检测文本的生成时间与每个所述待选语料库的最新更新时间的时间差；

基于所述时间差以及所述待检测文本所属领域，从所述待选语料库中选取所述存储有正确文本的语料库。

在一种可能的实施方式中，所述基于所述时间差以及所述待检测文本所属领域，从所述待选语料库中选取所述存储有正确文本的语料库，包括：

在与所述待检测文本所属领域匹配的待选语料库中，选取小于预定时间长度的时间差对应的待选语料库；

将选取的待选语料库进行合并，得到所述存储有正确文本的语料库。

在一种可能的实施方式中，所述基于所述时间差以及所述待检测文本所属领域，从所述待选语料库中选取所述存储有正确文本的语料库，包括：

在与所述待检测文本所属领域匹配的待选语料库中，选取最小的时间差对应的待选语料库，得到所述存储有正确文本的语料库。