[发明专利]一种分布式网络爬虫系统

说明书

技术领域

本发明涉及一种分布式网络爬虫系统，属于网络信息采集领域。

背景技术

网络的迅猛发展带来了万维网信息量的爆炸性增长，作为互联网信息检索工具的传统通用搜索引擎作用日益重要，但是由于其本身存在网络覆盖率低、漏检率高等局限性，因此不能为用户提供精确全面的信息。为了克服通用搜索引擎的以上不足，主题搜索引擎应运而生，其目标是以有限的带宽和硬件资源耗，为用户提供其关心领域内最精确的结果。

主题爬虫是主题搜索引擎的基础，其抓取网页的速度和质量是决定搜索引擎好坏的重要指标。它是一个在限定领域内自动下载网页的系统，按照一定优先级次序和主题相关度甄别获取页面。与通用爬虫不同，主题爬虫并不追求高的覆盖率，而是选择性地取主题相关页面，具有资源占用低、索引数据库更新方便、缓存页面精确的优点。

但目前现有技术均无法实现判定页面与主题的相关性以及在一个爬虫系统中容纳不同的主题抓取等，因此导致抓取网页的速度和质量不能满足用户要求。

发明内容

本发明技术解决问题：克服现有技术的不足，提供一种分布式网络爬虫系统，实现了一个爬虫容纳不同主题的抓取，提高了抓取网页的速度和质量不能满足了用户要求。

本发明技术解决方案：一种分布式网络爬虫系统，包括：管理门户、中心节点服务器、分布式子节点服务器；管理门户是爬虫系统对管理员提供的Web接口，能够查看中心节点服务器和分布式子节点服务器的日志，设置添加主题，更新某个主题的URL种子，配置主题的抓取频率参量，控制爬虫的状态；中心节点服务器和分布式子节点服务器爬虫是系统的主体，完成主题操作、数据抽取器的学习、页面分析以及目标页面的存储；

（1）中心节点服务器，包括URL控制器、抽取器模块和主题控制模块；

主题控制模块，从管理接口接收管理门户发送来的数据，包括主题的描述数据、添加和删除操作数据、控制主题抓取频率的数据，完成关于主题的操作，包括对主题的描述、添加和删除；控制主题抓取频率；编辑每个主题种子队列，并将主题种子队列发送至抽取器模块和URL控制器模块；

抽取器模块，接收主题种子队列后，首先通过基本分析器来把种子队列的URL地址代表的网页进行分类，分为Deep Web网页和数据密集型(Data-intensive)网页，然后分别对两种页面进行抽取分析，分析后找到各个类型对应的数据抽取器，再把URL地址和相应的数据抽取器行进对应记录，并把记录发送给URL控制器；

URL控制器，接收主题控制模块发送的种子队列和抽取器模块发送的URL地址和对应的抽取器记录，将这两个数据进行整合，把URL地址和相应的数据抽取器相对应，没有对应抽取器的URL地址就对应为通用抽取器，将所有的URL地址排成队列，通过任务分割法将任务发送给每个爬虫分布式子节点；

（2）分布式子节点服务器包括子节点URL控制器、数据抽取器、搜索控制器、网页抓取器；

子节点URL控制器，接收中心节点服务器发送过来的种子URL和对应数据抽取器信息；接收URL后首先进行URL地址查重，然后将没有重复采集的URL地址排进队列，并将队列中地URL地址和对应的数据抽取器信息发送给数据抽取器和网页抓取器；

数据抽取器，把来自子节点URL队列的Deep Web网页进行页面分析并提取页面中地URL形成新的URL，形成新的URL，相当于表单提交后的对象，传递给网页抓取器；接收搜索控制器发送的页面后，使用页面URL地址对应的谁抽取器进行内容抽取和页面中URL地址的提取，然后把URL地址送入URL地址库等待采集；

网页抓取器，把从URL控制器和数据抽取器发送过来的URL地址进行接收，然后进行网页的抓取，抓取的网页提供给搜索控制器；

搜索控制器，对接收到采集到的页面进行分析，符合要求的页面保存入页面库，否则把页面传递给数据抽取器。

所述任务分割法采用加权最小连接调度方法，具体实现过程如下：

（1）计算种子的PR和URL队列中PR最小值的差，与PR最大值和PR最小值差的比值α_i：；