[发明专利]页面的搜索特性的分析方法和分析装置

说明书

本发明公开了一种页面的搜索特性的分析方法和分析装置。其中，分析方法包括：计算查询集中的历史查询请求和页面集中的页面之间的第一相似度；将第一相似度超过第一预定阈值的历史查询请求和页面视为相互匹配；根据页面的匹配信息，对页面进行分析，以确定页面的搜索特性。由此，分析方法中的步骤均可以离线实现，并且页面的搜索特性是基于页面与历史查询请求的匹配信息确定的，与现有的页面分析方案相比，所确定的页面的搜索特性不仅更加符合用户的搜索意图，还可以挖掘出满足用户冷门需求的页面以及新页面。

技术领域

本发明涉及搜索技术领域，特别是涉及一种页面的搜索特性的分析方法和分析装置。

背景技术

现有的商业搜索引擎基本均采用了图1所示的总体架构，即通过爬虫定期抓取互联网上的网页，通过离线分析完成网页的特征计算和索引构建，最后由在线检索系统为用户提供检索服务。然而经估算，目前仅中文互联网就有大约100万亿的网页，且每天新增约100亿新的网页，如此庞大的规模对抓取、存储、索引、检索等构成了巨大的挑战。

目前主要的解决方法是从网页全集中挑选出认为有“价值”的子集优先进行处理，当前比较出名的网页价值分析方法主要包括PageRank(网页排名)和HITS(Hyperlink-Induced Topic Search，链接分析算法)。

PageRank的计算基于以下两个基本假设：

1.数量：在Web图模型中，如果一个页面节点接收到的其他网页指向的入链数量越多，那么这个页面越重要。

2.质量：指向页面A的入链质量不同，质量高的页面会通过链接向其他页面传递更多的权重。所以越是质量高的页面指向页面A，则页面A越重要。

PageRank算法的优点在于它是一个与查询无关的静态算法，所有网页的PageRank值可以通过离线计算获得。然而该算法也存在着一些缺点：一是，热门页面的等级往往比长冷页面的等级高，不利于挖掘满足用户长冷需求的页面；二是，旧的页面等级会比新页面高，因为即使是非常好的新页面也不会有很多上游链接，因此不利于新页面的发现。

HITS算法是利用Web的链接结构进行挖掘的典型算法，其核心思想是建立在页面链接关系的基础上，其基本思想是利用页面之间的引用链来挖掘隐含在其中的有用信息，HITS算法有两个重要概念：

1.Hub页面：指包含了很多指向高质量“Authority”页面的链接网页；

2.Authority页面：指某个领域或者某个话题相关的高质量网页。

HITS基于如下的基本假设：

假设1：一个好的“Authority”页面会被很多好的“Hub”页面指向；

假设2：一个好的“Hub”页面会指向很多好的“Authority”页面。

HITS算法的优点在于它能更好地描述互联网的组织特点，然而HITS算法也存在着一些缺点，例如效率低，HITS算法是与查询有关的算法，所以必须接收到用户查询后实时的进行计算，此外长冷链接挖掘和新链发现能力不足的问题也同样存在。

由此，需要一种能够更为准确地挖掘出有价值的页面的分析方案。

发明内容

本发明的主要目的在于提供一种页面的搜索特性的分析方法和分析装置，其能够更为准确地挖掘出符合用户的搜索需求的页面。

根据本发明的一个方面，提供了一种页面的搜索特性的分析方法，包括：计算查询集中的历史查询请求和页面集中的页面之间的第一相似度；将第一相似度超过第一预定阈值的历史查询请求和页面视为相互匹配；根据页面的匹配信息，对页面进行分析，以确定页面的搜索特性。