[发明专利]一种分词词项权重的计算方法和装置

说明书

本发明实施例公开了一种分词词项权重的计算方法和装置，用于实现对查询词中的各个分词词项权重的准确预测。本发明实施例提供一种分词词项权重的计算方法，所述方法包括：使用文本语料和历史查询词进行词向量训练，得到所述历史查询词的词向量，所述历史查询词通过历史搜索数据得到；以所述历史查询词的词向量作为特征，基于历史行为数据和通过对历史查询词搜索后得到的召回结果计算出的目标值，使用机器学习算法对依赖于所述历史查询词的多个分词词项权重进行训练，当误差最小或迭代次数达到次数阈值时结束训练；使用所述机器学习算法对目标查询词进行分词词项权重的计算，输出依赖于所述目标查询词的多个分词词项的权重值。

技术领域

本发明涉及计算机技术领域，尤其涉及一种分词词项权重的计算方法和装置。

背景技术

在搜索引擎中用户可以输入查询词(query)，对查询词做分词后可以得到多个分词词项(term)。当用户输入一个查询词时，目标是获取到与该查询词相关的有用信息，一个好的搜索引擎在于能准确返回用户想找的信息并将它们排前。文档的召回正是根据query中各个term在文档中求交所得，若query过长，很可能导致某些文档不能正确召回展现给用户，因此有必要对query中的各个term计算其权重，根据权重等进行处理对文档召回并排序。term权重作为其中的有效模块，对文档的召回及排序至关重要。

现有技术中，在计算查询词中每个term权重时，主要采用的计算方法是从多文本数据集中获取词的相关共现统计特征，例如常见的词频-逆向文件频率(Term Frequency–Inverse Document frequency，TF-IDF)、互信息等特征，现有技术提供的相关共现统计特征仅仅考虑了文本中的词的共现等信息，而这些信息都是与查询词本身是独立的，使得对term权重的计算结果并不能反映不同查询词中相同term的重要程度。

发明内容

本发明实施例提供了一种分词词项权重的计算方法和装置，用于实现对查询词中的各个分词词项权重的准确预测。

为解决上述技术问题，本发明实施例提供以下技术方案：

第一方面，本发明实施例提供一种分词词项权重的计算方法，所述方法包括：

使用文本语料和历史查询词进行词向量训练，得到所述历史查询词的词向量，所述历史查询词通过历史搜索数据得到；

以所述历史查询词的词向量作为特征，基于历史行为数据和通过对历史查询词搜索后得到的召回结果计算出的目标值，使用机器学习算法对依赖于所述历史查询词的多个分词词项权重进行训练，当误差最小或迭代次数达到次数阈值时结束训练；

使用所述回归算法对目标查询词进行分词词项权重的计算，输出依赖于所述目标查询词的多个分词词项的权重值。

第二方面，本发明实施例还提供一种分词词项权重的计算装置，所述装置包括：

词向量训练模块，用于使用文本语料和历史查询词进行词向量训练，得到所述历史查询词的词向量，所述历史查询词通过历史搜索数据得到；

机器学习算法训练模块，用于以所述历史查询词的词向量作为特征，基于历史行为数据和通过对历史查询词搜索后得到的召回结果计算出的目标值，使用机器学习算法对依赖于所述历史查询词的多个分词词项权重进行训练，当误差最小或迭代次数达到次数阈值时结束训练；

权重计算模块，用于使用所述回归算法对目标查询词进行分词词项权重的计算，输出依赖于所述目标查询词的多个分词词项的权重值。

第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。

从以上技术方案可以看出，本发明实施例具有以下优点：