[发明专利]索引页内容提取方法和装置、搜索引擎

说明书

本发明实施例公开了一种索引页内容提取方法和装置、搜索引擎，其中，方法包括：对指定网站的索引页系列中的当前索引页进行内容提取，比较当前索引页中的主体链接集合与上一次提取到的历史主体链接集合；响应于当前索引页中的主体链接集合与历史主体链接集合不存在交集，定位到下一索引页进行内容提取。本发明实施例可以在不增加流量成本的情况下提高Spider对网络资源的收录覆盖率。

技术领域

本发明涉及互联网技术，尤其是一种索引页内容提取方法和装置、搜索引擎。

背景技术

作为互联网资源的HTML(Hypertext Markup Language，超文本标记语言)文档使用超链接连接了起来，就像织成了一张网。搜索引擎使用Spider(网络爬虫，也称网络蜘蛛)寻找网络资源。Spider位于搜索引擎数据流的最上游，负责将互联网网站上的资源采集到本地数据库，提供给后续检索使用，是搜索引擎最主要数据来源之一。Spider的目标就是发现并抓取互联网中一切有价值的网页。

当前大多数互联网网站以索引页和翻页的形式来组织网站资源，当有新资源增加时，老资源往后或往前推移到翻页系列中。对Spider来说，这种特定类型的索引页是资源链接发现的一种有效渠道。但是，由于Spider是定期检查这些网页来获得新增的资源链接，检查的周期同资源链接发布的周期不可避免会有不同，周期不同的时候，资源链接很有可能就被推到翻页序列中。

为实现上述发现并抓取互联网中一切有价值网页的目标，首先就需要发现有价值的网页链接。目前，Spider可以通过多种调度机制尽量快而全的发现网页链接。

在现有的一种调度机制中，Spider对挖掘的种子(即：网站网页爬行入口)按照一定的较短周期进行调度，例如按照1天调度20次的平均周期进行调度，以便能覆盖到所有的时效性网页；考虑到有限的网络流量资源、而存在大量的索引页，对不在种子集合范围内的一般索引页按一定的较长周期进行调度，例如按照一周重抓一次的较长周期进行调度。

在实现本发明的过程中，发明人发现，上述现有的调度机制至少存在以下问题：

对种子的调度周期较短时，一般不会出现遗漏资源链接(网页链接，简称：漏链)的问题，然而当采点不准时，即：Spider对种子的调度周期同资源链接的发布周期不同时，较短的调度周期就会造成网络流量资源的浪费；若将对种子的调度周期设置较长，可能会出现漏链问题；

对于一般索引页，由于调度周期较长，可能会出现漏链问题；

由于存在以上漏链问题，降低了Spider对网络资源的收录覆盖率。

发明内容

本发明实施例所要解决的一个技术问题是：提供一种索引页内容提取方法和装置、搜索引擎，以避免调度周期较长时出现的漏链问题，在不增加流量成本的情况下提高Spider对网络资源的收录覆盖率。

根据本发明实施例的一个方面，提供的一种索引页内容提取方法，包括：

对指定网站的索引页系列中的当前索引页进行内容提取，比较当前索引页中的主体链接集合与上一次提取到的历史主体链接集合；

响应于当前索引页中的主体链接集合与历史主体链接集合不存在交集，定位到下一索引页进行内容提取。。

示例性地，在本发明上述方法的另一个实施例的中，还包括：

响应于当前索引页中的主体链接集合与历史主体链接集合不存在交集，将当前索引页中的所有主体链接记录到所述历史主体链接集合中；或者

响应于当前索引页中的主体链接集合与历史主体链接集合存在交集，将当前索引页中、所述交集之外的主体链接记录到所述历史主体链接集合中。

示例性地，在本发明上述方法的另一个实施例的中，所述定位到下一索引页进行内容提取包括：