[发明专利]一种分词词项权重的计算方法和装置

权利要求书

1.一种分词词项权重的计算方法，其特征在于，所述方法包括：

使用文本语料和历史查询词进行词向量训练，得到所述历史查询词的词向量，所述历史查询词通过历史搜索数据得到；

对所述历史查询词进行分词处理，得到多个分词词项；

根据所述多个分词词项中每个分词词项对应的词向量和所述历史查询词的词向量计算出所述多个分词词项中每个分词词项的词向量特征；

使用所述历史查询词在搜索引擎中检索；

获取通过所述搜索引擎反馈的召回结果，所述召回结果包括：通过所述搜索引擎召回的对应文档以及点击文档；

从所述对应文档以及点击文档中统计出包含分词词项的文档数量以及包含历史查询词的文档数量；

根据所述包含分词词项的文档数量以及包含历史查询词的文档数量计算出机器学习算法的目标值；

基于所述多个分词词项中每个分词词项的词向量特征和所述目标值，使用机器学习算法对多个分词词项权重进行训练；

使用所述机器学习算法对目标查询词进行分词词项权重的计算，输出依赖于所述目标查询词的多个分词词项的权重值。

2.根据权利要求1所述的方法，其特征在于，所述使用文本语料和历史查询词进行词向量训练，得到所述历史查询词的词向量，包括：

根据历史搜索次数、查询词长度对历史搜索数据进行排除重复数据以及过滤，得到所述历史查询词；

对所述文本语料进行分词处理，得到查询词处理结果；

使用所述查询词处理结果对所述历史查询词进行词向量计算，得到所述历史查询词的词向量。

3.根据权利要求1所述的方法，其特征在于，所述输出依赖于所述目标查询词的多个分词词项的权重值之后，所述方法还包括：

对所述分词词项的权重值进行后验处理。

4.根据权利要求3所述的方法，其特征在于，所述对所述分词词项的权重值进行后验处理，包括：

分别判断所述多个分词词项是否属于停用词；

获取属于停用词的分词词项和其左右两个词的紧密度；

根据所述紧密度减小所述属于停用词的分词词项对应的权重值。

5.一种分词词项权重的计算装置，其特征在于，所述装置包括：

词向量训练模块，用于使用文本语料对历史查询词进行词向量训练，得到所述历史查询词的词向量，所述历史查询词通过历史搜索数据得到；

机器学习算法训练模块，用于对所述历史查询词进行分词处理，得到多个分词词项；根据所述多个分词词项中每个分词词项对应的词向量和所述历史查询词的词向量计算出所述多个分词词项中每个分词词项的词向量特征；使用所述历史查询词在搜索引擎中检索；获取通过所述搜索引擎反馈的召回结果，所述召回结果包括：通过所述搜索引擎召回的对应文档以及点击文档；从所述对应文档以及点击文档中统计出包含分词词项的文档数量以及包含历史查询词的文档数量；根据所述包含分词词项的文档数量以及包含历史查询词的文档数量计算出机器学习算法的目标值；基于所述多个分词词项中每个分词词项的词向量特征和所述目标值，使用机器学习算法对多个分词词项权重进行训练；

权重计算模块，用于使用所述机器学习算法对目标查询词进行分词词项权重的计算，输出依赖于所述目标查询词的多个分词词项的权重值。

6.根据权利要求5所述的装置，其特征在于，所述词向量训练模块，包括：

历史查询词获取模块，用于根据历史搜索次数、查询词长度对历史搜索数据进行排除重复数据以及过滤，得到所述历史查询词；

语料处理模块，用于对所述文本语料进行分词处理，得到查询词处理结果；

词向量计算模块，用于使用所述查询词处理结果对所述历史查询词进行词向量计算，得到所述历史查询词的词向量。

7.根据权利要求5所述的装置，其特征在于，所述分词词项权重的计算装置，还包括：

后验处理模块，用于所述权重计算模块输出所述目标查询词的多个分词词项的权重值之后，对所述分词词项的权重值进行后验处理。