[发明专利]一种搜索词的提取方法及装置

权利要求书

1.一种搜索词提取方法，包括：

提供待提取搜索词的文档Doc_i；

从文档Doc_i中提取搜索词；

计算所述搜索词的主题相关性，所述主题相关性指的是所述搜索词与网页正文所表达内容的相关性；

根据搜索词的主题相关性对所述搜索词进行过滤；

步骤三包括：

计算搜索词的基本主题相关性；

计算搜索词的领域相关性；以及

计算搜索词的语义相关性；

所述主题相关性由所述基本主题相关性、领域相关性及语义相关性加权平均计算得到；

所述基本主题相关性是根据词频－反转文件频率(Term Frequency-InverseDocument Frequency,TF-IDF)计算；

所述领域相关性是根据所述搜索词属于某一领域的概率以及所述文档属于所述领域的概率共同计算；

计算该领域相关性时根据以下公式计算：

其中，P(Domain_k/Doc_i)为文档Doc_i属于领域Domain_k的概率，P(Domain_k/Wd_j)为搜索词Wd_j属于领域Domain_k的概率；

所述语义相关性根据所述搜索词的上下文相关性计算得到；

计算该语义相关性时根据以下公式计算：

其中，GrapSize_k表示搜索词Wd_j在由所有搜索词构成的语义关系无向图中所在的独立子图的大小，Wgt(Wd_j,Wd_x)表示所述语义关系无向图中跟Wd_j连接的其他搜索词Wd_x的相关性。

2.如权利要求1所述的搜索词提取方法，其特征在于，还包括：

对所述文档Doc_i的核心语句进行构词和语法分析得到事件型搜索词以对所述搜索词进行扩展，所述扩展的搜索词描述Doc_i以下要素中的至少一个：事件词、主体、受体、发生地点、事件类型。

3.如权利要求2所述的搜索词提取方法，其特征在于，还包括：根据用户历史查询记录对得到的搜索词进行分析得到用户行为搜索词以对所述搜索词进行扩展，并根据所述扩展的用户行为搜索词与文档Doc_i的领域相关性、语义相关性对扩展结果进行过滤。

4.如权利要求3所述的搜索词提取方法，其特征在于，所述用户历史查询记录为一个时间片段内的查询记录，且所述查询记录内包括采用所述搜索词其中至少之一进行查询的记录。

5.如权利要求1所述的搜索词提取方法，其特征在于，还包括根据用户对搜索词的点击率以及点击搜索词后访问的文档与所述文档Doc_i的主题相关性对所述搜索词进行过滤。

6.如权利要求5所述的搜索词提取方法，其特征在于，所述搜索词的点击率

其中特征参数λ_k是从历史记录中学习得到，WdFeat_k表征搜索词在文档Doc_i中的位置、领域相关性及语义相关性。

7.如权利要求6所述的搜索词提取方法，其特征在于，所述点击搜索词后访问的文档Doc_x与所述文档Doc_i的主题相关性

其中特征参数λ_k是根据历史记录学习得到。