[发明专利]一种纠错文本的确定方法以及相关设备

说明书

本发明实施例提供了一种纠错文本的确定方法及相关设备，用于提高搜索文本的纠错速度。该方法包括：获取用户输入的目标搜索文本；对所述目标搜索文本进行分词得到分词集合；从语料库中确定出所述分词集合中每个分词对应的初始纠错词；计算所述分词集合中每个分词对应的初始纠错词的纠错概率；将所述纠错概率大于第一预设阈值的初始纠错词确定为所述分词集合中每个分词的目标纠错词；按照预设规则从所述分词集合中每个分词的目标纠错词中确定出所述目标搜索文本的目标纠错文本。

技术领域

本发明涉及搜索领域，尤其涉及一种纠错文本的确定方法以及相关设备。

背景技术

在直播平台上，搜索是非常重要的一个入口，用户可以通过搜索入口找到自己想看到的主播。然而，因为某些原因用户在输入搜索文本的时候会发生错误，如拼写错误、词语颠倒等，如果不做纠错处理那么很难从搜索文本中得到正确的意思表达，无法返回用户想要的搜索结果。因此，需要采用一定的方法对搜索文本的拼写进行纠错。

通常的搜索拼写纠错思想是给定了观测序列(用户输入的关键词)寻找最优隐藏状态(最可能正确的关键词)，即采用HMM模型完成任务。然而，HMM模型搜索的空间非常大，算法的复杂度比较高。

发明内容

本发明实施例提供了一种纠错文本的确定方法及相关设备，提高搜索文本的纠错效率。

本发明实施例的第一方面提供了一种纠错文本的确定方法，包括：

获取用户输入的目标搜索文本；

对所述目标搜索文本进行分词得到分词集合；

从语料库中确定出所述分词集合中每个分词对应的初始纠错词；

计算所述分词集合中每个分词对应的初始纠错词的纠错概率；

将所述纠错概率大于第一预设阈值的初始纠错词确定为所述分词集合中每个分词的目标纠错词；

按照预设规则从所述分词集合中每个分词的目标纠错词中确定出所述目标搜索文本的目标纠错文本。

可选地，所述按照预设规则从所述分词集合中的每个分词的目标纠错词中确定出所述目标搜索文本的目标纠错文本包括：

当所述分词集合中每个分词的目标纠错词大于1个时，对所述分词集合中的每个分词的目标纠错词进行组合排列得到所述目标搜索文本对应的初始纠错文本；

计算每个初始纠错文本的纠错概率；

将纠错概率大于第二预设阈值的初始纠错文本确定所述目标纠错文本。

可选地，所述计算每个初始纠错文本的纠错概率包括：

通过如下公式计算所述每个初始文本的纠错概率：

其中，p(C,Q)为将Q纠错为C的纠错概率，所述Q为目标搜索文本，所述C为所述每个初始文本中的任意一个，N为所述目标搜索文本中的分词个数，p(c_j|q_j)为q_j纠错为c_j的纠错概率，所述q_j为所述Q中的任意一个分词，所述c_j为所述q_j对应的目标纠错词中的任意一个目标纠错词。

可选地，所述计算所述分词集合中每个分词对应的纠错词的纠错概率包括：

通过如下公式计算所述分词集合中每个分词对应的纠错词的纠错概率：