[发明专利]一种分布式网络爬虫系统

权利要求书

1.一种分布式网络爬虫系统，其特征在于包括：管理门户、中心节点服务器、分布式子节点服务器；管理门户是爬虫系统对管理员提供的Web接口，能够查看中心节点服务器和分布式子节点服务器的日志，设置添加主题，更新某个主题的URL种子，配置主题的抓取频率参量，控制爬虫的状态；中心节点服务器和分布式子节点服务器作为爬虫是系统的主体，完成主题操作、数据抽取器的学习、页面分析以及目标页面的存储；

（1）中心节点服务器，包括URL控制器、抽取器模块和主题控制模块；

主题控制模块，从管理接口接收管理门户发送来的数据，包括主题的描述数据、添加和删除操作数据、控制主题抓取频率的数据，完成关于主题的操作，包括对主题的描述、添加和删除；控制主题抓取频率；编辑每个主题种子队列，并将主题种子队列发送至抽取器模块和URL控制器模块；

抽取器模块，接收主题种子队列后，首先通过基本分析器来把种子队列的URL地址代表的网页进行分类，分为Deep Web网页和数据密集型(Data-intensive)网页，然后分别对两种页面进行抽取，找到各个类型对应的数据抽取器，再把URL地址和相应的数据抽取器行进对应记录，并把记录发送给URL控制器；

URL控制器，接收主题控制模块发送的种子队列和抽取器模块发送的URL地址和对应的数据抽取器记录，将这两个数据进行整合，把URL地址和分布式子节点服务器中相应的数据抽取器相对应，没有对应数据抽取器的URL地址就对应为通用抽取器，将所有的URL地址排成队列，通过任务分割法将任务发送给每个爬虫分布式子节点；

（2）分布式子节点服务器包括子节点URL控制器、数据抽取器、搜索控制器、网页抓取器；

子节点URL控制器，接收中心节点服务器发送过来的种子URL和对应数据抽取器信息；接收URL后首先进行URL地址查重，然后将没有重复采集的URL地址排进队列，并将队列中URL地址和对应的数据抽取器信息发送给数据抽取器和网页抓取器；

数据抽取器，把来自子节点URL队列的Deep Web网页进行页面分析并提取页面中地URL形成新的URL，相当于表单提交后的对象，传递给网页抓取器；接收搜索控制器发送的页面后，使用页面URL地址对应的抽取器进行内容抽取和页面中URL地址的提取，然后把URL地址送入URL地址库等待采集；

网页抓取器，接收子节点URL控制器和数据抽取器发送过来的URL地址，进行网页的抓取，抓取后的网页提供给搜索控制器；

搜索控制器，对接收到采集到的页面进行分析，符合要求的页面保存入页面库，否则把页面传递给数据抽取器。

2.根据权利要求1所述的一种分布式网络爬虫系统，其特征在于：所述任务分割法具体实现过程如下：

（1）计算种子的PR和URL队列中PR最小值的差，与PR最大值和PR最小值差的比值α_i：；

αi=PRi-low(PR)top(PR)-low(PR)]]>

PR为网页级别，i=0,1,…,n-1,Low(PR)和Top(PR)分别为PR最大值和最小值；

（2）计算搜索深度的权重，正文导向的目标页面深度为3，搜索深度的权重影响因子β_i为其本身深度L_i的倒数：

β_i＝1/L_i

（3）通过Sigmoid函数计算抓取频率，抓取频率x_i计算如下：

xi=Fi-low(F)top(F)-low(F)]]>

其中，Fi是种子的抓取频率；Low和Top分别取得队列中频率最大值和最小值；

抓取频率影响因子γ_i计算为：

γi=11+e-axi]]>

a取值大于1，是线性平滑结果后的加权因子，目标是扩大首步计算结果；

（4）按照Sigmoid函数曲线判断，种子的优先级权重是3个影响因子的算术平均Q_i：

Qi=αi+βi+γi3]]>

（5）然后根据Qi取值进行递减排序，Q为抓取频率和站点重要性2个因子不变的并只会随搜索深度因子变化的值，计算如下：

Q=Qprev-βprev-β3]]>

其中，Qprev是从父URL传递下来的权值；βprev是父URL的搜索深度因子；β是对象URL的搜索深度因子；

（6）新任务分配方法为，假设有一组子节点服务器S={S0,S1,……,Sn-1}，W(Si)表示子节点服务器Si的权值，C(Si)子节点表示服务器Si的当前连接数，所有子节点服务器当前连接数的总和为CSUM=ΣC(Si)，i=0,1,……,n-1；

当前的新连接请求会被发送子节点服务器Sm，当且仅当子节点服务器Sm满足以下条件再发送种子：

C(Sm)/CSUM)W(Sm)=min{C(Si)/CSUMW(Si)}⇒C(Sm)W(Sm)=min{C(Σt)W(Si)}]]>

其中，W(Si)不为0,子节点的日志每隔一定时间反馈到中心节点服务器中，子节点服务器连接数目C(Si)通过读取日志获得，比较分布式子节点服务器连接数和先验权值的比值，得到最小负载的子节点，分配新的爬取任务。