[发明专利]分布式爬虫系统及其提取网页数据的方法

说明书

技术领域

本发明涉及计算机数据挖掘技术，特别是涉及一种分布式爬虫系统及其提取网页数据的方法。

背景技术

搜索引擎作为网络信息搜寻的工具，它以一定的策略在互联网中搜集、发现信息，对信息进行理解、提取、组织和处理，并为用户提供检索服务。1994年，爬虫程序被应用到索引程序中，Yahoo、Google等相继出现。但至今，功能再强大的搜索引擎都仍然存在信息丢失、更新率不高、精确率不高等问题。用户需要更快、更准、更方便、更有效的查询服务成为搜索引擎技术发展研究追求的目标。

在这种情况下定向抓取相关网页资源的主题爬虫应运而生。主题爬虫又称为聚焦爬虫，为自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所需要的信息。作为一种智能的Web爬虫，它的基本工作过程与一般的爬虫是相似的。与一般爬虫不同的是，主题爬虫并不追求大的覆盖，而将目标定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询准备数据资源。

目前无论对于一般爬虫还是主题爬虫，大部分研究都是专注于爬虫的搜索策略和相关度分析方面，在这些方面也已取得相当多的进展。而面对越来越庞大的网络资源，提高爬虫程序的速度已成为当前搜索领域的一个焦点问题，但现有的爬虫程序显然不能满足高速爬取的需求。

发明内容

有鉴于此，本发明提出一种分布式爬虫系统及其提取网页数据的方法，以提高网页爬取速度。

本发明的目的及解决其技术问题是采用以下技术方案来实现的。依据本发明提出的一种分布式爬虫系统，包括爬虫服务器、消息队列服务器、至少一个下载端和统一资源定位符URL过滤器，其中，所述爬虫服务器，用于发布未处理URL队列，并对所述分布式爬虫系统进行逻辑控制；所述消息队列服务器，用于从所述爬虫服务器接收URL队列，并将所述URL队列向所述下载端发送；所述下载端，用于根据从所述消息队列服务器中接收的URL队列下载网页，并将下载的网页数据发送至所述爬虫服务器；以及所述URL过滤器，用于对所述爬虫服务器收到的网页数据进行排重。

本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。

前述的分布式爬虫系统，所述消息队列服务器向所述下载端下达URL队列或根据所述下载端的请求向其提供URL队列。

前述的分布式爬虫系统，还包括本地文件子系统，用于存储所述爬虫服务器收到的所述网页数据。

前述的分布式爬虫系统，还包括分布式文件子系统，用于同步所述本地文件子系统中的网页数据。

前述的分布式爬虫系统，所述URL过滤器为基于二进制数组bitSet的过滤器。

前述的分布式爬虫系统，还包括监控端，用于监控和管理所述爬虫服务器。

本发明的目的及解决其技术问题另外还采用以下技术方案来实现。依据本发明提出的一种提取网页数据的方法，其基于前述的系统，包括以下步骤：S1.爬虫服务器发布未处理URL队列；S2.所述消息队列服务器接收所述URL队列并将其发送到至少一个下载端；S3.所述下载端根据接收的URL队列下载网页，并将下载的网页数据发送至所述爬虫服务器；以及S4.对所述爬虫服务器收到的网页数据进行排重。

本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。

前述的提取网页数据的方法，所述步骤S1中，爬虫服务器发布的未处理URL队列包括种子URL队列；所述步骤S3中，所述下载端下载的网页数据包括种子URL对应页面上的超链接URL。

前述的提取网页数据的方法，步骤S4具体为：S411.爬虫服务器从超链接URL中取出一条URL数据；S412.爬虫服务器判断该URL数据是否与其最近最少使用LRU缓存中的数据一致，若不一致，则执行步骤S413，若一致，则抛弃该URL数据并执行步骤S411；S413.URL过滤器对所述URL数据进行排重，若排重未命中，则执行步骤S51，若排重命中，则抛弃该URL数据并执行步骤S411；步骤S4之后包括步骤S51：将排重通过的URL数据放入所述爬虫服务器的未处理URL队列中并执行步骤S411。

由上述技术方案可知，本发明的实施例通过采用分布式爬虫系统，具有以下有益效果：

本发明的爬虫服务器不需要知道下载端的实现，爬虫服务器将任务发给消息队列服务器，并等待任务结果的返回即可。逻辑控制和下载任务的分离，让分布式爬虫系统的启动、管理、容错都变的简单许多。