[发明专利]搜索日志的挖掘方法和装置以及页面搜索的方法和装置

说明书

【技术领域】

本发明属于互联网技术领域，具体涉及一种搜索日志的挖掘方法和装置以及页面搜索的方法和装置。

【背景技术】

随着互联网技术的不断发展以及信息的不断膨胀，人们对于网络信息的使用需求越来越高，搜索引擎成为人们获取网络信息的重要工具。当用户输入搜索词(query)后，搜索引擎通常会将包含该搜索词的页面包含在搜索结果中返回给用户。

然而，现有的搜索技术中，无法对用户所输入query的时效性需求进行识别，例如用户想要获取刚发生不久的事件的相关信息，但搜索引擎并不会理解用户的该时效性需求，返回的搜索结果仅仅基于以往搜索历史，并按照预先设定的各属性权值对搜索结果进行排序，用户可能无法快速准确地从搜索结果中找到需求的页面。例如，用户想要获取刚发生不久的河北爆炸事件的网络信息，输入“河北爆炸”的query，由于该事件刚发生不久，网络资源还较少，在搜索结果中，近期所发生河北爆炸事件的页面可能会淹没在海量与河北爆炸相关的历史事件的页面中，用户无法快速准确地从搜索结果中找到需求的页面。

【发明内容】

本发明提供了一种搜索日志的挖掘方法和装置以及页面搜索的方法和装置，以便于对用户query的时效性需求进行识别，满足用户对搜索结果的时效性需求。

具体技术方案如下：

一种搜索日志的挖掘方法，包括：对从搜索日志中抓取到的搜索词query分别执行步骤A1和步骤C1：

A1、对所述抓取到的query进行分词处理，执行步骤B1；

B1、利用分词处理后得到的各词语和/或各词语的属性构成的组合以及各组合的分布概率，归纳出类型，转至步骤D1；

C1、对所述抓取到的query进行筛选，得到时效性query集合和非时效性query集合，执行步骤D1；

D1、统计步骤B1得到的各类型在步骤C1筛选出的时效性query集合和非时效性query集合中的分布，利用统计结果计算各类型对应的时效性概率，并将各类型与时效性概率之间的对应关系存储在时效性概率表中。

其中，所述步骤B1具体包括：

B11、按照所述分词处理后得到的各词语的属性，对各词语进行标注；

B12、按照步骤B11的标注结果，将同一个query中词语的组合，或者词语的属性的组合，或者词语和词语的属性的组合作为归纳出的类型，其中，所述归纳出的类型在所述搜索日志中的分布概率超过预设的类型分布概率阈值。

在步骤B11中，各词语的属性识别过程具体为：预先根据词语在不同属性中的分布概率，建立词性统计表；利用分词处理后得到的各词语查找所述词性统计表，确定所述各词语对应分布概率最高的属性。

具体地，从搜索日志中抓取query所采用的抓取策略包括以下策略中的一种或任意组合：

抓取策略1：抓取对应搜索结果中用户所点击页面中发布时间在最近第一时间段内的页面占该用户所点击的所有页面的比例超过预设第一比例阈值的query；

抓取策略2：抓取对应搜索结果中发布时间在最近第二时间段内的页面占搜索结果的比例超过预设的第二比例阈值的query；

抓取策略3：抓取对应搜索结果中存在用户点击页面的发布时间在最近一段时间内的所有query。

步骤C1中采用的筛选策略可以包括以下策略中的一种或任意组合：

筛选策略1：筛选出对应搜索结果中用户所点击页面中发布时间在最近第三时间段内的页面占该用户所点击的所有页面比例超过预设第三比例阈值的query，构成时效性query集合，其他query构成非时效性query集合；其中，如果抓取策略采用所述抓取策略1，则所述第三时间段的时长等于所述第一时间段的时长且所述第三比例阈值大于所述第一比例阈值，或者，所述第三时间段的时长小于所述第一时间段的时长且所述第三比例阈值等于所述第一比例阈值，或者，所述第三时间段的时长小于所述第一时间段的时长且所述第三比例阈值大于所述第一比例阈值；

筛选策略2：筛选出对应搜索结果中发布时间在最近第四时间段内的页面占搜索结果的比例超过预设的第四比例阈值的query，构成时效性query集合，其他query构成非时效性query集合；其中，如果抓取策略采用所述抓取策略2，则所述第四时间段的时长等于所述第二时间段的时长且所述第四比例阈值大于所述第二比例阈值，或者所述第四时间段的时长小于所述第二时间段的时长且所述第四比例阈值等于所述第二比例阈值，或者所述第四时间段的时长小于所述第二时间段的时长且所述第四比例阈值大于所述第二比例阈值；